mozilla / jupyter-spark Arkiverad

OBS: Detta projekt är för närvarande underhålls, om någon vill ta över underhåll vänligen meddela oss.

Jupyter Notebook förlängning för Apache Spark integration.

innehåller en förloppsindikator för den aktuella Notebook-cellen om den anropar asparkjobb. Frågor Spark UI tjänsten på backend för att få requiredSpark jobbinformation.

för att visa alla jobb som för närvarande körs, klicka på knappen ”Visa Running Spark jobs”eller tryck på Alt+S.

en proxied version av Spark UI kan nås athttp://lokal värd:8888/gnista.

Installation

för att installera, helt enkelt köra:

pip install jupyter-sparkjupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_sparkjupyter nbextension enable --py widgetsnbextension

det sista steget behövs för att aktivera widgetsnbextension-tillägget somjupyter-Spark beror på. Det kan ha aktiverats tidigare av en annanförlängning.

du kanske vill lägga till --user till kommandona ovan om du får konfigurationsfel när du åberopar dem.

för att dubbelkontrollera om tillägget var korrekt installerat kör:

jupyter nbextension listjupyter serverextension list

Pleaes Känn dig fri att installera lxml samt att improvepreformance av serversidan kommunikation att gnista med din favoritepackage manager, t. ex.:

pip install lxml

för utveckling och testning, klona projektet och kör från ett skal i projektets rotkatalog:

pip install -e .jupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_spark

för att avinstallera tillägget kör:

jupyter serverextension disable --py jupyter_sparkjupyter nbextension disable --py jupyter_sparkjupyter nbextension uninstall --py jupyter_sparkpip uninstall jupyter-spark

konfiguration

för att ändra webbadressen till Spark API som jobbmetadata hämtas frånöverrida Spark.url config-värdet, t. ex. på kommandoraden:

jupyter notebook --Spark.url="http://localhost:4040"

exempel

det finns ett enkelt pyspark exempel som ingår i examples för att bekräfta att dininstallation fungerar.

ändringslogg

0.3.0 (2016-07-04)

• Rewrote proxy för att använda en Async Tornado hanterare och HTTP-klient för att hämta svar från Spark.

• förenklad proxybehandling för att ta hänsyn till Amazon EMR-proxy

• utökad testsvit för att täcka proxyhanterare också.

• borttagna förfrågningar som ett beroende.

0.2.0 (2016-06-30)

• Refactored att fixa en massa Python förpackningar och kod kvalitetsproblem

• Inkom testsvit för Python-kod

• skapa kontinuerlig integration: https://travis-ci.org/mozilla/jupyter-spark

• Ställ in rapporter om kodtäckning: https://codecov.io/gh/mozilla/jupyter-spark

• lade till möjligheten att åsidosätta Spark API URL via kommandoraden alternativ

• viktigt kräver manuellt steg för att aktivera efter att ha kört pip install (se installationsdokument)!

  för att uppdatera:

  1. kör pip uninstall jupyter-spark
  2. ta bort spark.js från din nbextensions mapp.
  3. ta bort alla referenser till jupyter_spark.spark ijupyter_notebook_config.json (i din .Jupyter directory)
  4. ta bort alla referenser till sparki notebook.json (i .jupyter / nbconfig)
  5. Följ installationsanvisningarna för att installera om