slik kjører Du Scala og Spark i Jupyter notebook

Jupyter notebook er et av de mest brukte verktøyene i datavitenskapsprosjekter. Det er et flott verktøy for å utvikle programvare i python og har god støtte for det. Den kan også brukes til scala utvikling med spylon-kjernen. Dette er en ekstra kjerne som må installeres separat.

Trinn1: installer pakken

pip install spylon-kernel

Trinn2: opprett en kjernespesifikk

Dette vil tillate oss å velge scala-kjernen i notisboken.

python -m spylon_kernel install

Trinn3: start jupyter notisboken

ipython notebook

og i notisboken velger vi New -> spylon-kernel. Dette vil starte vår scala-kjerne.

Trinn4: testing av notisboken

La oss skrive litt scala-kode:

val x = 2
val y = 3x+y

utgangen skal være noe lignende med resultatet i venstre bilde. Som du kan se, starter det også gnistkomponentene. For dette må du sørge for at du har SPARK_HOME satt opp.

Nå kan vi til og med bruke spark. La oss teste det ved å lage et datasett:

val data = Seq((1,2,3), (4,5,6), (6,7,8), (9,19,10))
val ds = spark.createDataset(data)
ds.show()

dette bør sende ut en enkel dataframe:

og vi kan til og med bruke python i denne kjernen ved hjelp av kommandoen %python :

%%python
x=2
print(x)

For mer info kan du besøke spylon-kernel github-siden. Notatboken med koden ovenfor er tilgjengelig her.

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert.