Ena najprivlačnejših lastnosti ogrodja Hadoop je njegova uporaba blagovne strojne opreme . Vendar to vodi do pogostih zrušitev DataNode v gruči Hadoop. Druga presenetljiva značilnost Hadoop Framework je enostavnost obsega v skladu s hitro rastjo obsega podatkov . Zaradi teh dveh razlogov je ena najpogostejših nalog skrbnika Hadoop-a provizija (Dodaj) in razgradnja (Odstrani) Podatkovna vozlišča v gruči Hadoop.
sql in pl sql vadnica
Vozlišča za zagon in razgradnjo v grozdu Hadoop:
Zgornji diagram prikazuje postopek po korakih za razgradnjo DataNode v gruči.
Prva naloga je posodobiti izključi 'Datotek za oba HDFS (hdfs-site.xml) in MapReduce (mapred-site.xml).
Datoteka 'izključi':
- za sledenje zaposlitvam vsebuje seznam gostiteljev, ki jih mora sledilnik opravil izključiti. Če je vrednost prazna, gostitelji niso izključeni.
- for Namenode vsebuje seznam gostiteljev, ki jim ni dovoljeno povezovanje z Namenode.
Tu je primer konfiguracije za datoteko za izključitev v hdfs-site.xml in mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / izključuje
prav
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / izključuje
prav
Opomba: Navesti je treba celotno ime datoteke.
Podobno imamo tudi datoteke 'vključi':
- za sledenje zaposlitvam vsebuje seznam vozlišč, ki se lahko povežejo z JobTrackerjem. Če je vrednost prazna, so dovoljeni vsi gostitelji.
- for Namenode vsebuje seznam gostiteljev, ki se lahko povežejo z Namenode. Če je vrednost prazna, so dovoljeni vsi gostitelji.
„ dfsadmin 'In' mradmin 'Osvežite konfiguracijo s spremembami, da jih seznanite z novim vozliščem.
„ sužnji Datoteka na glavnem strežniku vsebuje seznam vseh podatkovnih vozlišč. To je treba tudi posodobiti, da zagotovite morebitne težave pri prihodnjem zagonu / zaustavitvi demona hadoop.
Pomemben korak v postopku naročanja podatkovnih vozlišč je zagon izravnalnika grozdov.
> hadoop balancer -prag 40
Balanser poskuša zagotoviti ravnotežje do določenega praga med podatkovnimi vozlišči s kopiranjem podatkov bloka iz starejših vozlišč v novo naročena vozlišča.
Torej, to lahko storite - Zagon in Razgradnja Vozlišča v gruči Hadoop.
Imate vprašanje za nas? Prosimo, omenite to v oddelku za komentarje in se vam bomo javili.
Povezane povezave: