mozilla / jupyter-spark Archivováno

Poznámka: Tento projekt je v současné době neudržovaný, pokud by někdo chtěl převzít údržbu, dejte nám prosím vědět.

rozšíření notebooku Jupyter pro integraci Apache Spark.

obsahuje indikátor průběhu pro aktuální buňku notebooku, pokud vyvolá úlohu aSpark. Dotazuje službu Spark UI na backendu, aby získal požadované informace o úloze parku.

Chcete-li zobrazit všechny aktuálně spuštěné úlohy, klikněte na tlačítko „zobrazit spuštěné úlohy Spark“nebo stiskněte Alt+S.

proxy verze uživatelského rozhraní Spark lze přistupovat athttp: / / localhost: 8888 / spark.

instalace

Chcete-li nainstalovat, jednoduše spusťte:

pip install jupyter-sparkjupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_sparkjupyter nbextension enable --py widgetsnbextension

poslední krok je nutný k povolení rozšíření widgetsnbextension, na kterém závisí Jupyter-Spark. Možná to bylo dříve povoleno jinýmrozšíření.

možná budete chtít přidat --user k výše uvedeným příkazům, pokud při jejich vyvolání dochází k chybám konfigurace.

Chcete-li znovu zkontrolovat, zda bylo rozšíření správně nainstalováno, spusťte:

jupyter nbextension listjupyter serverextension list

prosím, neváhejte nainstalovat lxml a také zlepšit výkon komunikace na straně serveru a zažehnout pomocí vašeho favoritepackage manager, např.:

pip install lxml

pro vývoj a testování klonujte projekt a spusťte jej z shellu v kořenovém adresáři projektu:

pip install -e .jupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_spark

Chcete-li odinstalovat spuštění rozšíření:

jupyter serverextension disable --py jupyter_sparkjupyter nbextension disable --py jupyter_sparkjupyter nbextension uninstall --py jupyter_sparkpip uninstall jupyter-spark

konfigurace

pro změnu adresy URL rozhraní Spark API, ze které jsou metadata úlohy načtena z konfigurační hodnoty Spark.url, např. na příkazovém řádku:

jupyter notebook --Spark.url="http://localhost:4040"

příklad

v examples je uveden jednoduchý příklad pyspark, který potvrzuje, že vaše instalace funguje.

seznam změn

0.3.0 (2016-07-04)

• přepsal proxy použít asynchronní Tornado handler a HTTP klienta fetchresponses z Spark.

• zjednodušené zpracování proxy pro zohlednění proxy serveru Amazon EMR

• rozšířená testovací sada pro pokrytí obslužného programu proxy, také.

• odstraněné požadavky jako závislost.

0.2.0 (2016-06-30)

• Refactored opravit spoustu Pythonu balení a problémy s kvalitou kódu

• přidána testovací sada pro Python kód

• nastavit nepřetržitou integraci: https://travis-ci.org/mozilla/jupyter-spark

• Nastavení zpráv o pokrytí kódem: https://codecov.io/gh/mozilla/jupyter-spark

• Přidána možnost přepsat Spark API URL pomocí volby příkazového řádku

• důležité vyžaduje ruční krok k povolení po spuštění instalace pip (viz instalační dokumenty)!

  Chcete-li aktualizovat:

  1. spusťte pip uninstall jupyter-spark
  2. Smazat spark.js ze složky nbextensions.
  3. smazat všechny odkazy na jupyter_spark.spark vjupyter_notebook_config.json (ve vašem .jupyter directory)
  4. smazat všechny odkazy na spark v notebook.json(v.jupyter / nbconfig)
  5. při přeinstalaci postupujte podle pokynů k instalaci