V tem blogu si oglejmo, kako zgraditi Spark za določeno različico Hadoop.
Naučili se bomo tudi, kako graditi Spark s HIVE in YARN.
kako uporabljati bitne operatorje v javi -
Glede na to, da imate Hadoop, jdk, mvn in pojdi vnaprej nameščen in vnaprej konfiguriran v vašem sistemu.
Odprto Mozilla brskalnik in Prenesite Iskra z uporabo spodnje povezave.
https://edureka.wistia.com/medias/k14eamzaza/
Odprite terminal.
Ukaz: tar -xvf Downloads / spark-1.1.1.tgz
Ukaz: ls
Odprite imenik spark-1.1.1.
Lahko odprete pom.xml mapa. Ta datoteka vam daje informacije o vseh odvisnosti potrebujete.
Ne urejajte ga, da se izognete težavam.
Ukaz: cd spark-1.1.1 /
Ukaz: sudo gedit sbt / sbt-launch-lib.bash
Datoteko uredite kot spodnji posnetek, shranite in zaprite.
Zmanjšujemo pomnilnik, da se izognemo težavi s prostorom kopice predmetov, kot je navedeno v spodnjem posnetku.
Zdaj zaženite spodnji ukaz v terminalu, da ustvarite iskrico za Hadoop 2.2.0 s HIVE in YARN.
Ukaz: ./sbt/sbt -P preja -P panj -Phadoop-2.2 -D hadoop.verzija = 2,2,0 -D skipTests montaža
Opomba: Moja različica Hadoop je 2.2.0, lahko jo spremenite glede na svojo različico Hadoop.
Za druge različice Hadoop
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.verzija = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.verzija = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.verzija = 2.4.0
Trajalo bo nekaj časa za sestavljanje in pakiranje, počakajte, da se dokonča.
Dva kozarca iskra-montaža-1.1.1-hadoop2.2.0.jar in primeri isker-1.1.1-hadoop2.2.0.jar se ustvari.
Pot do iskra-montaža-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Pot do primeri isker-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Čestitamo, uspešno ste zgradili Spark za panj in prejo.
Imate vprašanje za nas? Prosimo, da jih omenite v oddelku za komentarje, pa se vam bomo oglasili.
Sorodne objave:
Apache Spark s Hadoop-Zakaj je to pomembno?