Naučili smo se, kako Zgradite panj in prejo na Spark . Zdaj pa preizkusimo primere panja in preje na Spark.
Primer panja na iskri
Zagnali bomo primer Hive on Spark. Ustvarili bomo tabelo, naložili podatke v to tabelo in izvedli preprosto poizvedbo. Pri delu s panjem je treba sestaviti a HiveContext ki podeduje od SQLContext .
Ukaz: cd iskra-1.1.1
Ukaz: ./bin/iskra- školjka
Ustvarite vhodno datoteko 'Vzorec' v domačem imeniku, kot je prikazano spodaj (posnetek ločen).
Ukaz: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
kako nastaviti pot za javo
Ukaz: sqlContext.sql ('USTVARI TABELO, ČE NE OBSTAJA test (ime STRING, uvrstitev INT) REDNA OBLIKA DELIMIRANA PODROČJA, KI SE OBDELA Z
‘”)
Ukaz: sqlContext.sql (“PRENOS LOKALNIH PODATKOV ZA PODATKE‘ / home / edureka / sample ’IN TABLE test”)
Ukaz: sqlContext.sql (“SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Primer preje na Spark
Primer SparkPi bomo izvedli na Preja. Prejo lahko namestimo na Spark v dva načina: način grozda in način odjemalca. V načinu gručaste preje se gonilnik Spark zažene v glavnem procesu aplikacije, ki ga v grozdi upravlja Yarn, in odjemalec lahko po zagonu aplikacije odide. V načinu odjemalec preje se gonilnik zažene v odjemalskem procesu, glavni program pa se uporablja samo za zahtevanje virov iz storitve Preja.
Ukaz: cd iskra-1.1.1
Ukaz: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master preja –grupa v načinu razporeditve –razred org.apache.spark.primeri. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executeur-core 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Ko izvedete zgornji ukaz, počakajte nekaj časa, dokler ne dobite USPELO sporočilo.
Brskaj localhost: 8088 / gruča in kliknite aplikacijo Spark.
podniz v primerih strežnika sql
Kliknite na hlodi .
Kliknite na stdout za preverjanje izhoda.
Za namestitev Preje na Spark v odjemalskem načinu preprosto naredite –Razporeditev-način kot “Stranka”. Zdaj veste, kako na Sparku zgraditi panj in prejo. Zanje smo tudi izvajali vaje.
Imate vprašanje za nas? Prosimo, da jih omenite v oddelku za komentarje, pa se vam bomo oglasili.
Sorodne objave
Apache Spark s Hadoop-Zakaj je to pomembno?
Panj in preja se elektrificirajo z iskrico