mozilla / jupyter-spark Archivált

Megjegyzés: Ez a projekt jelenleg nincs karbantartva, ha valaki szeretné átvenni a karbantartást, kérjük ossza meg velünk.

Jupyter Notebook kiterjesztés az Apache Spark integrációhoz.

tartalmaz egy folyamatjelző az aktuális Jegyzetfüzet cella, ha meghívja aSpark feladat. Lekérdezi a Spark UI szolgáltatás a backend, hogy a requiredSpark munkát információkat.

az összes jelenleg futó feladat megtekintéséhez kattintson a “futó Spark feladatok megjelenítése”gombra, vagy nyomja meg a Alt+S gombot.

a proxy változata a Spark UI érhető athttp://localhost:8888/spark.

telepítés

a telepítéshez egyszerűen futtassa:

pip install jupyter-sparkjupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_sparkjupyter nbextension enable --py widgetsnbextension

az utolsó lépés a widgetsnbextension kiterjesztés engedélyezéséhez szükséges, amelytőla Jupyter-Spark függ. Lehet, hogy korábban engedélyezték egy másikkiterjesztés.

érdemes hozzáfűzni --user a fenti parancsokhoz, ha konfigurációs hibákat kap a meghíváskor.

annak ellenőrzéséhez, hogy a bővítmény helyesen lett-e telepítve:

jupyter nbextension listjupyter serverextension list

Pleaes nyugodtan telepíteni lxml is, hogy improveperformance a szerver oldali kommunikáció szikra segítségével a favoritepackage manager, pl.:

pip install lxml

a fejlesztéshez és teszteléshez klónozza a projektet, és futtassa a projekt gyökérkönyvtárában található shell-ből:

pip install -e .jupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_spark

ahhoz, hogy távolítsa el a kiterjesztés fut:

jupyter serverextension disable --py jupyter_sparkjupyter nbextension disable --py jupyter_sparkjupyter nbextension uninstall --py jupyter_sparkpip uninstall jupyter-spark

Configuration

a Spark API URL-jének módosítása, hogy a feladat metaadatai a Spark.url konfigurációs érték túllépése, például a parancssorban:

jupyter notebook --Spark.url="http://localhost:4040"

példa

van egy egyszerű pyspark példa szerepel examples annak megerősítésére, hogy a telepítés működik.

Változásnapló

0.3.0 (2016-07-04)

• átírta proxy használni aszinkron Tornado kezelő és HTTP kliens fetchresponses a Spark.

• egyszerűsített proxyfeldolgozás az Amazon EMR proxying figyelembevétele érdekében

• kiterjesztett tesztcsomag a proxykezelő fedezésére is.

• az eltávolított kéréseket függőségként.

0.2.0 (2016-06-30)

• Refactored egy csomó Python csomagolási és kódminőségi probléma megoldására

• hozzáadott teszt suite Python kódot

• állítsa be a folyamatos integrációt: https://travis-ci.org/mozilla/jupyter-spark

• kód lefedettségi jelentések beállítása: https://codecov.io/gh/mozilla/jupyter-spark

• Hozzáadott képes felülírni Spark API URL parancssori opció

• fontos kézi lépést igényel a PIP telepítés futtatása után(lásd a telepítési dokumentumokat)!

  frissítés:

  1. futtassa a pip uninstall jupyter-spark
  2. spark.js törlését a nbextensions mappából.
  3. minden hivatkozás törlése jupyter_spark.spark ajupyter_notebook_config.json (a .jupyter directory)
  4. töröl minden hivatkozást spark a notebook.json(- ban .jupyter / nbconfig)
  5. az újratelepítéshez kövesse a telepítési utasításokat