jak spustit Scala a Spark v notebooku Jupyter

Notebook Jupyter je jedním z nejpoužívanějších nástrojů v projektech datové vědy. Je to skvělý nástroj pro vývoj softwaru v Pythonu a má pro to velkou podporu. Může být také použit pro vývoj scala s jádrem spylon. Toto je další jádro, které musí být nainstalováno Samostatně.

Krok 1: Instalace balíčku

pip install spylon-kernel

Krok 2: Vytvoření specifikace jádra

to nám umožní vybrat jádro scala v notebooku.

python -m spylon_kernel install

Krok 3: spusťte notebook jupyter

ipython notebook

a v notebooku vybereme New -> spylon-kernel . Tím se spustí naše jádro scala.

Step4: testování notebooku

pojďme napsat nějaký kód scala:

val x = 2
val y = 3x+y

výstup by měl být něco podobného s výsledkem v levém obrázku. Jak vidíte, spustí se také součásti jiskry. Za tímto účelem se ujistěte, že máte nastaveno SPARK_HOME.

Nyní můžeme dokonce použít spark. Vyzkoušejte to vytvořením datové sady:

val data = Seq((1,2,3), (4,5,6), (6,7,8), (9,19,10))
val ds = spark.createDataset(data)
ds.show()

to by mělo výstup jednoduchý datový rámec:

a můžeme dokonce použít python v tomto jádře pomocí příkazu %python :

%%python
x=2
print(x)

pro více informací můžete navštívit stránku spylon-kernel github. Notebook s výše uvedeným kódem je k dispozici zde.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.