mozilla / jupyter-Spark zarchiwizowane

UWAGA: Ten projekt jest obecnie niezrealizowany, jeśli ktoś chciałby przejąć konserwację, daj nam znać.

rozszerzenie notebooka Jupyter do integracji z Apache Spark.

zawiera wskaźnik postępu dla bieżącej komórki notebooka, jeśli wywoła zadanie aSpark. Odpytuje usługę Spark UI w backendzie, aby uzyskać informacje o zadaniu requiredSpark.

aby wyświetlić wszystkie aktualnie uruchomione zadania, kliknij przycisk „Pokaż uruchomione zadania”lub naciśnij Alt+S.

dostęp do proxed wersji interfejsu użytkownika Spark jest możliwy pod adresem http://localhost:8888/spark.

instalacja

aby zainstalować, po prostu uruchom:

pip install jupyter-sparkjupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_sparkjupyter nbextension enable --py widgetsnbextension

ostatni krok jest potrzebny do włączenia rozszerzenia widgetsnbextension, od którego zależy Jupyter-Spark. Mogło to być wcześniej włączone przez inne rozszerzenie.

możesz dodać --user do powyższych poleceń, jeśli podczas ich wywoływania otrzymujesz błędy konfiguracji.

aby dwukrotnie sprawdzić, czy rozszerzenie zostało poprawnie zainstalowane, Uruchom:

jupyter nbextension listjupyter serverextension list

Pleaes zapraszam do instalacji lxml jak również do poprawienia komunikacji po stronie serwera do iskry za pomocą ulubionego menedżera pakietów, np.:

pip install lxml

w celu rozwoju i testowania, Sklonuj projekt i uruchom go z powłoki w katalogu głównym projektu:

pip install -e .jupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_spark

aby odinstalować rozszerzenie Uruchom:

jupyter serverextension disable --py jupyter_sparkjupyter nbextension disable --py jupyter_sparkjupyter nbextension uninstall --py jupyter_sparkpip uninstall jupyter-spark

Konfiguracja

aby zmienić adres URL API Spark, że metadane zadania są pobierane z wartości konfiguracyjnej Spark.url, np. w wierszu poleceń:

jupyter notebook --Spark.url="http://localhost:4040"

przykład

W examples znajduje się prosty przykład pyspark, aby potwierdzić, że instalacja działa.

Changelog

0.3.0 (2016-07-04)

• przepisać proxy, aby używać asynchronicznego programu obsługi tornada i klienta HTTP do pobierania odpowiedzi od Spark.

• uproszczone przetwarzanie proxy w celu uwzględnienia proxy Amazon EMR

• rozszerzony pakiet testowy obejmuje również obsługę proxy.

• usunięto żądania jako zależność.

0.2.0 (2016-06-30)

• Refactored naprawić kilka Python opakowania i problemy z jakością kodu

• Dodano pakiet testowy dla kodu Pythona

• Skonfiguruj ciągłą integrację: https://travis-ci.org/mozilla/jupyter-spark

• Konfigurowanie raportów pokrycia kodu: https://codecov.io/gh/mozilla/jupyter-spark

• Dodano możliwość nadpisania adresu URL API Spark za pomocą opcji wiersza poleceń

• ważne wymaga ręcznego kroku, aby włączyć po uruchomieniu instalacji pip (patrz dokumenty instalacji)!

  do aktualizacji:

  1. Uruchom pip uninstall jupyter-spark
  2. Usuń spark.js z folderu nbextensions.
  3. usuń wszelkie odniesienia do jupyter_spark.spark wjupyter_notebook_config.json (w Twoim .jupyter directory)
  4. usuń wszelkie odniesienia do sparkw notebook.json (w .jupyter/nbconfig)
  5. postępuj zgodnie z instrukcjami instalacji, aby ponownie zainstalować