mozilla / jupyter-spark Archived

NOTE: This project is currently admained, if anyone would like to take maintenance please note us know.

Jupyter Notebook-laajennus Apache Spark-integraatioon.

Sisältää edistymisindikaattorin nykyiselle Kannettavalle solulle, jos se vetoaa aSpark-työhön. Tiedustelee taustajärjestelmässä olevaa Spark UI-palvelua saadakseen requiredSpark-työn tiedot.

nähdäksesi kaikki tällä hetkellä käynnissä olevat työt, napsauta ”Näytä käynnissä olevat Kipinätyöt” – painiketta tai paina Alt+S.

Spark UI-käyttöliittymästä on saatavilla proxied-versio täältähttp://localhost:8888/spark.

Installation

to install, simply run:

pip install jupyter-sparkjupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_sparkjupyter nbextension enable --py widgetsnbextension

viimeinen vaihe tarvitaan, jotta widgetsnbextension laajennus, josta jupyter-kipinä riippuu. Se on saattanut olla käytössä aiemmin eri laajennuksella.

voit halutessasi liittää --user yllä oleviin komentoihin, jos saat määritysvirheitä vedotessasi niihin.

tarkistaaksesi, onko laajennus asennettu oikein:

jupyter nbextension listjupyter serverextension list

Pleaes vapaasti asentaa lxml sekä parantaa suorituskykyä palvelimen puolella viestintä kipinä käyttämällä suosikki Package manager, esim.:

pip install lxml

kehittääksesi ja testataksesi, kloonaa projekti ja suorita projektiprojektin juurihakemistossa olevasta komentotulkista:

pip install -e .jupyter serverextension enable --py jupyter_sparkjupyter nbextension install --py jupyter_sparkjupyter nbextension enable --py jupyter_spark

laajennusajon poistaminen:

jupyter serverextension disable --py jupyter_sparkjupyter nbextension disable --py jupyter_sparkjupyter nbextension uninstall --py jupyter_sparkpip uninstall jupyter-spark

kokoonpano

jos haluat muuttaa Spark API: n URL: n, että työn metatiedot noudetaan Spark.url asetusarvon ylittämisestä, esim. komentoriviltä:

jupyter notebook --Spark.url="http://localhost:4040"

esimerkki

examples on olemassa yksinkertainen pyspark esimerkki, joka sisältyy examples vahvistamaan, että asennus toimii.

Changelog

0.3.0 (2016-07-04)

• muokkaa välityspalvelinta käyttääksesi Async Tornado-käsittelijää ja HTTP-asiakasta hakemaan vastauksia Sparkista.

• yksinkertaistettu välityspalvelimen käsittely Amazonin EMR-välityspalvelimen ottamiseksi huomioon

• laajennettu testisarja kattaa myös välityspalvelimen käsittelijän.

• poistetut pyynnöt riippuvuutena.

0.2.0 (2016-06-30)

• Refactored korjata joukko Python pakkaus ja koodi laatuongelmia

• lisätty testisarja Python-koodille

• Ota käyttöön jatkuva integraatio: https://travis-ci.org/mozilla/jupyter-spark

• Aseta koodin kattavuusraportit: https://codecov.io/gh/mozilla/jupyter-spark

• Lisätty mahdollisuus ohittaa Spark API URL kautta komentorivi vaihtoehto

• tärkeää vaatii manuaalinen askel ottaa käyttöön ajon jälkeen pip asennus (katso asennus docs)!

  päivitykseen:

  1. aja pip uninstall jupyter-spark
  2. Poista spark.js nbextensions – kansiostasi.
  3. Poista kaikki viittaukset jupyter_spark.spark injupyter_notebook_config.json (in your.jupyterin Hakemisto)
  4. Poista kaikki viittaukset spark in notebook.json(in .jupyter/nbconfig)
  5. noudata asennusohjeita asentaaksesi uudelleen