Hadoop Job Tacker
Job Tracker je glavni demon tako za upravljanje virov dela kot za razporejanje / spremljanje delovnih mest. Deluje kot zveza med Hadoop in vašo prijavo.
Postopek
Uporabnik najprej kopira datoteke v porazdeljeni datotečni sistem (DFS), preden naročilo odda naročniku. Nato odjemalec prejme te vhodne datoteke. Uporabnik bo prejel delitve ali bloke na podlagi vhodnih datotek.Stranka bi lahkoustvarite delitve ali bloke v moškemner to prefker obstajajo nekateri razlogi za tem. Če se opravi analiza celotnih podatkov, jih boste razdelili na delitve. Datoteke se ne kopirajo prek odjemalca, ampak se kopirajo s pomočjo flume ali Sqoop ali katerega koli zunanjega odjemalca.
Ko se datoteke kopirajo v DFS in odjemalec komunicira s DFS,delitve bodo izvedle MapReduce job. Opravilo se odda prek sledilca zaposlitve. Sledilnik opravil je glavni demon, ki se izvaja na istem vozlišču kottečeteh več opravil na podatkovnih vozliščih. Ti podatki bodo ležali na različnih podatkovnih vozliščih, vendar je za to odgovoren sledilnik opravil.
Potem ko se stranka prijavi naprejsledilnika opravil se opravilo inicializira v čakalni vrsti opravil in sledilnik opravil ustvari zemljevide in zmanjša. Na podlagi programa, ki ga vsebuje funkcija map in redukcija, bo ustvaril nalogo map in zmanjšal nalogo. Ta dva se bosta izvajala na vhodnih delih. Opomba: Ko ga ustvarijo odjemalci, ta vhodni razdelilec vsebuje celotne podatke.
tabela cassandra vs družina stolpcev
V vsakem vhodnem razdelku se izvaja opravilo zemljevida in izhod naloge zemljevida gre v opravilo zmanjšanja. Sledilnik opravil vodi skladbo na določenih podatkih. Tega je lahko več ponovitev, tako da izbere lokalne podatke in zažene nalogo na določenem sledilniku opravil. Sledilnik opravil je tisti, ki dejansko zažene nalogo na podatkovnem vozlišču. Sledilnik opravil bo minilinformacijev sledilnik opravil in sledilnik opravil bo opravilo opravil na podatkovnem vozlišču.
Ko je opravilo dodeljeno sledilniku opravil, je z vsakim sledilnikom opravil in sledilnikom opravil povezan srčni utrip. Pošilja signale, da ugotovi, ali so podatkovna vozlišča še vedno živa. Oba sta pogosto sinhronizirana, saj obstaja možnost, da vozlišča izginejo.
Imate vprašanje za nas? Omenite jih v oddelku za komentarje in javili se vam bomo.
Sorodne objave:
kaj je ključna napaka v pythonu