installera Apache Spark på Ubuntu 17.10

Apache Spark är ett dataanalysverktyg som kan användas för att bearbeta data från HDFS, S3 eller andra datakällor i minnet. I det här inlägget installerar vi Apache Spark på en Ubuntu 17.10-maskin.

Ubuntu Version

för den här guiden kommer vi att använda Ubuntu version 17.10 (GNU/Linux 4.13.0-38-Generisk x86_64).

Apache Spark är en del av Hadoop-ekosystemet för Big Data. Försök installera Apache Hadoop och gör ett exempelapplikation med det.

uppdatera befintliga paket

för att starta installationen för Spark är det nödvändigt att vi uppdaterar vår maskin med senaste tillgängliga programvarupaket. Vi kan göra detta med:

eftersom Spark är baserat på Java måste vi installera det på vår maskin. Vi kan använda vilken Java-version som helst ovanför Java 6. Här kommer vi att använda Java 8:

ladda ner Spark-filer

alla nödvändiga paket finns nu på vår maskin. Vi är redo att ladda ner de nödvändiga Spark TAR-filerna så att vi kan börja ställa in dem och köra ett provprogram med Spark också.

i den här guiden kommer vi att installera Spark v2. 3. 0 tillgänglig här:

Spark nedladdningssida

ladda ner motsvarande filer med det här kommandot:

beroende på nätverkshastigheten kan det ta upp till några minuter eftersom filen är stor i storlek:

ladda ner Apache Spark

nu när vi har hämtat TAR-filen kan vi extrahera i den aktuella katalogen:

det tar några sekunder att slutföra på grund av arkivets stora filstorlek:

Oarkiverade filer i Spark

när det gäller att uppgradera Apache Spark i framtiden kan det skapa problem på grund av Sökvägsuppdateringar. Dessa problem kan undvikas genom att skapa en softlink to Spark. Kör det här kommandot för att skapa en softlink:

lägga till Spark till Path

för att utföra Spark-skript kommer vi att lägga till den i path nu. För att göra detta, öppna bashrc-filen:

Lägg till dessa rader i slutet av .bashrc-fil så att Sökvägen kan innehålla den körbara filvägen Spark:

nu ser filen ut:

lägga Spark till PATH

för att aktivera dessa ändringar, kör följande kommando för bashrc-fil:

starta Spark Shell

nu när vi är precis utanför spark-katalogen, kör följande kommando för att öppna apark shell:

vi kommer att se att Spark shell är openend nu:

starta Spark shell

vi kan se i konsolen att Spark också har öppnat en webbkonsol på port 404. Låt oss ge det ett besök:

Apache Spark Web Console

även om vi kommer att fungera på konsolen själv, är webbmiljö en viktig plats att titta på när du utför tunga Spark jobb så att du vet vad som händer i varje Spark jobb du utför.

kontrollera Spark shell-versionen med ett enkelt kommando:

vi kommer att få tillbaka något liknande:

göra ett prov Spark ansökan med Scala

nu kommer vi att göra ett prov Word Counter ansökan med Apache Spark. För att göra detta, ladda först en textfil i Spark-sammanhang på Spark shell:

nu måste texten som finns i filen delas in i tokens som Spark kan hantera:

initiera nu räkningen för varje ord till 1:

slutligen beräkna frekvensen för varje ord i filen:

dags att titta på utgången för programmet. Samla tokens och deras respektive räkningar:

utmärkt! Vi kunde köra ett enkelt Word Counter-exempel med Scala-programmeringsspråk med en textfil som redan finns i systemet.

slutsats

i den här lektionen tittade vi på hur vi kan installera och börja använda Apache Spark på Ubuntu 17.10-maskinen och köra en exempelapplikation på den också.

Läs Mer Ubuntu – baserade inlägg här.