우분투 17.10 에 아파치 스파크 설치

출처~/.이제 우리는 바로 스파크 디렉토리 외부에있을 때,아파크 쉘을 열려면 다음 명령을 실행합니다:

스파크 쉘이 열려 있음을 알 수 있습니다.:

콘솔에서 스파크가 포트 404 에서 웹 콘솔을 열었다는 것을 알 수 있습니다. 의 그것을 방문을 제공 할 수 있습니다:

우리는 콘솔 자체에서 작동 할 것이지만,웹 환경은 당신이 실행하는 각 스파크 작업에서 무슨 일이 일어나고 있는지 알 수 있도록 무거운 스파크 작업을 실행할 때 볼 수있는 중요한 장소입니다.

간단한 명령으로 스파크 쉘 버전 확인:

우리는 다음과 같은 것을 다시 얻을 것입니다:

스칼라

와 샘플 스파크 응용 프로그램 만들기 이제,우리는 아파치 스파크와 샘플 워드 카운터 응용 프로그램을 만들 것입니다. 이렇게 하려면 먼저 텍스트 파일을 스파크 셸의 스파크 컨텍스트에 로드합니다:

이제 파일에 있는 텍스트는 스파크가 관리할 수 있는 토큰으로 구분되어야 합니다:

이제 각 단어의 수를 다음과 같이 초기화하십시오 1:

마지막으로 파일의 각 단어의 빈도를 계산하십시오:2015 년 11 월 1 일-2015 년 11 월 1 일-2015 년 11 월 1 일-2015 년 11 월 1 일-2015 년 11 월 1 일이 방법은 다음과 같습니다.)

스칼라>합계_각.배열의 배열은 배열의 배열에 의해 생성되며,배열의 배열은 배열의 배열에 의해 생성된다.1),(때문에,1),(이,1),(페이지](http://spark.apache.org/documentation.html).,1),(클러스터.(1),(1),(1),(1),(1),(1),(1),(1),(1),(1),(1),(1),(1),(1),(2),(그래프,1),(하이브,2),(저장,1),([“지정,1),(에,2),(“원사”,1),(한 번,1),([“유용,1),(선호,1),((스파크 피,2),(엔진,1),(버전,1),(파일,1),(문서,1),(처리,1),(그만큼,24),(아르,1),(시스템.이 경우 두 개의 매개 변수 중 하나를 사용할 수 있습니다.(1),(만약,4),(빌드,4),(언제,1),(수,2),(테스트,1),(아파치,1),(스레드,1),(프로그램,,1),(포함,4),(./빈/실행-예,2),(스파크.,1),(패키지.,1), (1000).1),1),(버전,1),(하드 디스크 디스크,1),(디…
스칼라>