Jupyterin muistikirja on yksi käytetyimmistä työkaluista datatiedeprojekteissa. Se on loistava työkalu ohjelmistojen kehittämiseen Pythonissa ja sillä on suuri tuki sille. Sitä voidaan käyttää myös Scalan kehittämiseen spylon-ytimen kanssa. Tämä on ylimääräinen ydin, joka on asennettava erikseen.
Vaihe1: asenna paketti
pip install spylon-kernel
Vaihe2: luo kernel spec
näin voimme valita Scala-ytimen kannettavasta tietokoneesta.
python -m spylon_kernel install
Askel3: Käynnistä jupyterin muistikirja
ipython notebook
ja muistikirjassa valitsemme New -> spylon-kernel . Tämä käynnistää scala-ytimen.
Vaihe4: muistikirjan testaus
kirjoitetaan vähän scala-koodia:
val x = 2
val y = 3x+y
ulostulon pitäisi olla jotain samanlaista, jonka tulos on vasemmassa kuvassa. Kuten näette, se käynnistää myös kipinäkomponentit. Tätä varten varmista, että sinulla on SPARK_HOME valmiina.
nyt voidaan käyttää jopa kipinää. Kokeillaan sitä luomalla tietokokonaisuus:
val data = Seq((1,2,3), (4,5,6), (6,7,8), (9,19,10))
val ds = spark.createDataset(data)
ds.show()
tästä tulostetaan yksinkertainen dataframe:
ja voimme jopa käyttää Pythonia tässä ytimessä komennolla %python :
%%python
x=2
print(x)
Lisätietoja saat spylon-ytimen GitHub-sivulta. Muistikirja, jossa on yllä oleva koodi, löytyy täältä.
