Namestite Hadoop: Nastavitev gruče Hadoop z enim vozliščem
Iz naših prejšnjih spletnih dnevnikov , morali ste imeti teoretično predstavo o Hadoopu, HDFS in njegovi arhitekturi.Ampak dobiti potrebujete dobro praktično znanje.Upam, da bi vam bil všeč naš prejšnji spletni dnevnik , zdaj vas bom popeljal skozi praktično znanje o Hadoopu in HDFS. Prvi korak naprej je namestitev Hadoopa.
Hadoop lahko namestite na dva načina, tj. Eno vozlišče in Multi vozlišče .
Skupina posameznih vozlišč pomeni samo eno DataNode, ki se izvaja in nastavlja vse NameNode, DataNode, ResourceManager in NodeManager na enem računalniku. To se uporablja za preučevanje in testiranje. Oglejmo si na primer vzorec nabora podatkov znotraj zdravstvene dejavnosti. Za preizkušanje, ali so opravila Oozie razporedila vse procese, kot so zbiranje, združevanje, shranjevanje in obdelava podatkov v ustreznem zaporedju, uporabljamo gručo posameznih vozlišč. Z lahkoto in učinkovito preizkusi zaporedni potek dela v manjšem okolju v primerjavi z velikimi okolji, ki vsebujejo terabajte podatkov, razdeljenih na stotine strojev.
Medtem ko je v Skupina več vozlišč , deluje več kot eno DataNode in vsako DataNode se izvaja na različnih računalnikih. Skupina več vozlišč se praktično uporablja v organizacijah za analizo velikih podatkov. Glede na zgornji primer je treba v realnem času, ko imamo opravka s petabajti podatkov, razdeliti na stotine strojev, ki jih je treba obdelati. Tako tukaj uporabljamo gručo z več vozlišči.
V tem blogu vam bom pokazal, kako namestite Hadoop v eno gručo vozlišč.
Pogoji
- VIRTUALNA ŠKATLA : uporablja se za namestitev operacijskega sistema.
- DELOVNI SISTEM : Hadoop lahko namestite v operacijske sisteme, ki temeljijo na Linuxu. Ubuntu in CentOS se zelo pogosto uporabljata. V tej vadnici uporabljamo CentOS.
- JAVA : V sistem morate namestiti paket Java 8.
- HADOOP : Potrebujete paket Hadoop 2.7.3.
Namestite Hadoop
Korak 1: Klikni tukaj za prenos paketa Java 8. Shranite to datoteko v domači imenik.
2. korak: Izvlecite datoteko Java Tar.
Ukaz : tar -xvf jdk-8u101-linux-i586.tar.gz
preobremenitev funkcije v c ++
Slika: Namestitev Hadoop - Izvlečenje datotek Java
3. korak: Prenesite paket Hadoop 2.7.3.
Ukaz : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Slika: Namestitev Hadoop - prenos Hadoop
4. korak: Izvlecite datoteko Hadoop tar.
Ukaz : tar -xvf hadoop-2.7.3.tar.gz
Slika: Namestitev Hadoop - Izvlečenje datotek Hadoop
5. korak: V datoteko bash (.bashrc) dodajte poti Hadoop in Java.
Odprto . bashrc mapa. Zdaj dodajte Hadoop in Java Path, kot je prikazano spodaj.
Ukaz : vi .bashrc
Slika: Namestitev Hadoop - nastavitev spremenljivke okolja
Nato shranite datoteko bash in jo zaprite.
Za uporabo vseh teh sprememb v trenutnem terminalu izvedite izvorni ukaz.
Ukaz : vir .bashrc
Slika: Namestitev Hadoop - Osvežitev spremenljivk okolja
Če želite zagotoviti, da sta Java in Hadoop pravilno nameščeni v vašem sistemu in do njih lahko dostopate prek terminala, execute ukaza java -version in hadoop version.
Ukaz : java-verzija
Slika: Namestitev Hadoop - Preverjanje različice Java
Ukaz : hadooprazličico
Slika: Namestitev Hadoop - Preverjanje različice Hadoop
6. korak : Uredite .
Ukaz: cd hadoop-2.7.3 / etc / hadoop /
Ukaz: ls
Vse konfiguracijske datoteke Hadoop se nahajajo v hadoop-2.7.3 / etc / hadoop imenik, kot lahko vidite na spodnjem posnetku:
Slika: Namestitev Hadoop - Konfiguracijske datoteke Hadoop
7. korak : Odprto core-site.xml in uredite spodaj omenjeno lastnost znotraj konfiguracijske oznake:
core-site.xml obvešča demon Hadoop, kje NameNode teče v gruči. Vsebuje konfiguracijske nastavitve jedra Hadoop, kot so nastavitve V / I, ki so skupne HDFS in MapReduce.
Ukaz : vi core-site.xml
Slika: Namestitev Hadoop - Konfiguriranje core-site.xml
fs.default.name hdfs: // localhost: 9000
8. korak: Uredi hdfs-site.xml in uredite spodaj omenjeno lastnost znotraj konfiguracijske oznake:
hdfs-site.xml vsebuje konfiguracijske nastavitve demonov HDFS (tj. NameNode, DataNode, Secondary NameNode). Vključuje tudi faktor replikacije in velikost bloka HDFS.
Ukaz : vi hdfs-site.xml
Slika: Namestitev Hadoop - Konfiguriranje hdfs-site.xml
dfs.replication 1 dfs.permission false
9. korak : Uredite mapred-site.xml datoteko in uredite spodaj omenjeno lastnost znotraj konfiguracijske oznake:
mapred-site.xml vsebuje konfiguracijske nastavitve aplikacije MapReduce, kot so število JVM, ki se lahko izvajajo vzporedno, velikost preslikavnika in proces reduktorja, jedra CPU, ki so na voljo za postopek itd.
V nekaterih primerih datoteka mapred-site.xml ni na voljo. Torej, moramo ustvariti datoteko mapred-site.xmlz uporabo predloge mapred-site.xml.
Ukaz : cp mapred-site.xml.template mapred-site.xml
Ukaz : mi mapred-spletnem mestu.xml.
Slika: Namestitev Hadoop - Konfiguriranje mapred-site.xml
mapreduce.framework.name preja
10. korak: Uredi yarn-site.xml in uredite spodaj omenjeno lastnost znotraj konfiguracijske oznake:
yarn-site.xml vsebuje konfiguracijske nastavitve ResourceManagerja in NodeManagerja, kot so velikost upravljanja pomnilnika aplikacije, potrebna operacija programa in algoritma itd.
Ukaz : vi yarn-site.xml
Slika: Namestitev Hadoop - Konfiguriranje yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
11. korak: Uredi hadoop-env.sh in dodajte pot Java, kot je navedeno spodaj:
hadoop-env.sh vsebuje spremenljivke okolja, ki se v skriptu uporabljajo za zagon Hadoopa, kot je domača pot Java itd.
Ukaz : mi hadoop-env.sh
Slika: Namestitev Hadoop - Konfiguriranje hadoop-env.sh
12. korak: Pojdite v domači imenik Hadoop in formatirajte NameNode.
Ukaz : CD
Ukaz : cd hadoop-2.7.3
Ukaz : bin/hadoop namenode -format
nastavite java classpath windows 10
Slika: Namestitev Hadoop - Oblikovanje NameNode
To formatira HDFS prek NameNode. Ta ukaz se izvede samo prvič. Formatiranje datotečnega sistema pomeni inicializacijo imenika, ki ga določa spremenljivka dfs.name.dir.
Nikoli ne formatirajte, zaženite in zaženite datotečnega sistema Hadoop. Izgubili boste vse podatke, shranjene v HDFS.
13. korak: Ko je NameNode formatiran, pojdite v imenik hadoop-2.7.3 / sbin in zaženite vse demone.
Ukaz: cd hadoop-2.7.3 / sbin
Vse demone lahko zaženete z enim samim ukazom ali pa to storite posamezno.
Ukaz: ./ start-all.sh
Zgornji ukaz je kombinacija start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Ali pa lahko vse storitve izvajate posamično, kot spodaj:
Start NameNode:
NameNode je osrednji del datotečnega sistema HDFS. Hrani drevo imenikov vseh datotek, shranjenih v HDFS, in spremlja vse datoteke, shranjene v gruči.
Ukaz: ./hadoop-daemon.sh start namenode
navzkrižno brskalniško testiranje s selenom
Slika: Namestitev Hadoop - Zagon NameNode
Zaženi DataNode:
Ob zagonu se DataNode poveže z Namenode in se odzove na zahteve Namenode za različne operacije.
Ukaz: ./hadoop-daemon.sh start datanode
Slika: Namestitev Hadoop - Zagon DataNode
Zaženite ResourceManager:
ResourceManager je glavni, ki arbitrira vse razpoložljive vire grozda in tako pomaga pri upravljanju porazdeljenih aplikacij, ki se izvajajo v sistemu YARN. Njegovo delo je upravljanje vsakega NodeManagerja in ApplicationMaster vsake aplikacije.
Ukaz: ./preja-daemon.sh zaženi vodja virov
Slika: Namestitev Hadoop - Zagon ResourceManagerja
Zaženi NodeManager:
NodeManager v vsakem strojnem okviru je agent, ki je odgovoren za upravljanje vsebnikov, spremljanje njihove porabe virov in poročanje o tem ResourceManagerju.
Ukaz: ./preja-daemon.sh zaženi upravitelj vozlišč
Slika: Namestitev Hadoop - Zagon NodeManagerja
Zaženi JobHistoryServer:
JobHistoryServer je odgovoren za servisiranje vseh zahtev stranke, povezanih z zgodovino delovnih mest.
Ukaz : ./mr-jobhistory-daemon.sh zaženi zgodovinski strežnik
14. korak: Če želite preveriti, ali vse storitve Hadoop delujejo, zaženite spodnji ukaz.
Ukaz: jps
Slika: Namestitev Hadoop - Preverjanje demonov
Korak 15: Zdaj odprite brskalnik Mozilla in pojdite na lokalni gostitelj : 50070 / dfshealth.html za preverjanje vmesnika NameNode.
Slika: Namestitev Hadoop - Zagon WebUI
Čestitamo, naenkrat ste uspešno namestili eno vozlišče Hadoop.V našem naslednjem blogu , bomo zajeli, kako namestiti Hadoop tudi v gručo z več vozlišči.
Zdaj, ko ste razumeli, kako namestiti Hadoop, si oglejte Edureka, zaupanja vredno podjetje za spletno učenje z mrežo več kot 250.000 zadovoljnih učencev, ki se širijo po vsem svetu. Tečaj Edureka Big Data Hadoop Certification Training pomaga učencem, da postanejo strokovnjaki za HDFS, prejo, MapReduce, Pig, Hive, HBase, Oozie, Flume in Sqoop z uporabo primerov uporabe v realnem času na področju maloprodaje, družbenih medijev, letalstva, turizma in financ.
Imate vprašanje za nas? Prosimo, omenite to v oddelku za komentarje in se vam bomo javili.