notebook-ul Jupyter este unul dintre cele mai utilizate instrumente în proiectele de știință a datelor. Este un instrument excelent pentru dezvoltarea de software în python și are un suport excelent pentru asta. Acesta poate fi, de asemenea, utilizat pentru dezvoltarea scala cu spylon-kernel. Acesta este un nucleu suplimentar care trebuie instalat separat.
Pasul 1: Instalați pachetul
pip install spylon-kernel
Pasul 2: Creați o spec kernel
acest lucru ne va permite să selectăm nucleul scala din notebook.
python -m spylon_kernel install
Pasul 3: porniți notebook-ul jupyter
ipython notebook
și în notebook selectăm New -> spylon-kernel . Aceasta va începe nucleul nostru scala.
Pasul 4: testarea notebook-ului
să scriem un cod scala:
val x = 2
val y = 3x+y
ieșirea ar trebui să fie ceva similar cu rezultatul din imaginea din stânga. După cum puteți vedea, de asemenea, pornește componentele spark. Pentru aceasta, asigurați-vă că aveți SPARK_HOME configurat.
acum putem folosi chiar spark. Să-l testăm prin crearea unui set de date:
val data = Seq((1,2,3), (4,5,6), (6,7,8), (9,19,10))
val ds = spark.createDataset(data)
ds.show()
aceasta ar trebui să producă un cadru de date simplu:
și putem folosi chiar python în acest kernel folosind comanda %python :
%%python
x=2
print(x)
pentru mai multe informații puteți vizita pagina spylon-kernel github. Notebook-ul cu codul de mai sus este disponibil aici.
