Ausführen von Scala und Spark im Jupyter-Notizbuch

Das Jupyter-Notizbuch ist eines der am häufigsten verwendeten Tools in Data-Science-Projekten. Es ist ein großartiges Werkzeug für die Entwicklung von Software in Python und hat eine großartige Unterstützung dafür. Es kann auch für die Scala-Entwicklung mit dem Spylon-Kernel verwendet werden. Dies ist ein zusätzlicher Kernel, der separat installiert werden muss.

Schritt 1: Installieren Sie das Paket

pip install spylon-kernel

Schritt 2: Erstellen Sie eine Kernel-Spezifikation

Auf diese Weise können wir den Scala-Kernel im Notebook auswählen.

python -m spylon_kernel install

Schritt 3: starten Sie das Jupyter Notebook

ipython notebook

Und wählen Sie im Notebook New -> spylon-kernel . Dadurch wird unser Scala-Kernel gestartet.

Schritt 4: Testen des Notebooks

Schreiben wir etwas Scala-Code:

val x = 2
val y = 3x+y

Die Ausgabe sollte dem Ergebnis im linken Bild ähnlich sein. Wie Sie sehen können, startet es auch die Funkenkomponenten. Stellen Sie dazu bitte sicher, dass Sie SPARK_HOME eingerichtet haben.

Jetzt können wir sogar Spark verwenden. Testen wir es, indem wir einen Datensatz erstellen:

val data = Seq((1,2,3), (4,5,6), (6,7,8), (9,19,10))
val ds = spark.createDataset(data)
ds.show()

Dies sollte einen einfachen Datenrahmen ausgeben:

Und wir können sogar Python in diesem Kernel verwenden, indem wir den Befehl verwenden %python :

%%python
x=2
print(x)

Für weitere Informationen können Sie die spylon-kernel Github-Seite besuchen. Das Notebook mit dem obigen Code ist hier verfügbar.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.