Sådan køres Scala og Spark i Jupyter notebook

Jupyter notebook er et af de mest anvendte værktøjer i datavidenskabsprojekter. Det er et godt værktøj til at udvikle programmer i python og har stor støtte til det. Det kan også bruges til scala udvikling med spylon-kerne. Dette er en ekstra kerne, der skal installeres separat.

trin1: installer pakken

pip install spylon-kernel

trin2: Opret en kernel spec

dette giver os mulighed for at vælge scala-kernen i notebook ‘ en.

python -m spylon_kernel install

Step3: start jupyter notebook

ipython notebook

og i notebook ‘ en vælger vi New -> spylon-kernel. Dette vil starte vores scala kerne.

Step4: test af notebook ‘ en

lad os skrive noget scala-kode:

val x = 2
val y = 3x+y

udgangen skal være noget lignende med resultatet i venstre billede. Som du kan se, starter det også gnistkomponenterne. Til dette skal du sørge for at du har SPARK_HOME oprettet.

nu kan vi endda bruge spark. Lad os teste det ved at oprette et datasæt:

val data = Seq((1,2,3), (4,5,6), (6,7,8), (9,19,10))
val ds = spark.createDataset(data)
ds.show()

dette skal udsende en simpel dataframe:

og vi kan endda bruge python i denne kerne ved hjælp af kommandoen %python :

%%python
x=2
print(x)

For mere info kan du besøge spylon-kernel github side. Den bærbare computer med koden ovenfor er tilgængelig her.

Skriv et svar

Din e-mailadresse vil ikke blive publiceret.