Vadnica za Hadoop YARN - Spoznajte osnove arhitekture YARN

Hadoop YARN pleta pomnilniško enoto Hadoop, tj. HDFS (Hadoop Distributed File System) z različnimi orodji za obdelavo. Za tiste, ki ste popolnoma novi v tej temi, YARN pomeni „ Y. in TO noter R vir N egotiator «. Predlagam vam tudi, da greste skozi našo in preden nadaljujete z učenjem Apache Hadoop YARN. Tukaj bom razložil naslednje teme, da se prepričam, da je na koncu tega spletnega dnevnika vaše razumevanje Hadoop YARN jasno.

• Zakaj PREJ?
• Uvod v Hadoop YARN
• Sestavni deli preje
• Predložitev prijave v PREJ
• Potek dela v Hadoop YARN

Zakaj PREJ?

V različici Hadoop 1.0, ki se imenuje tudi MRV1 (MapReduce Version 1), je MapReduce opravljal funkcije obdelave in upravljanja virov. Sestavljal ga je Job Tracker, ki je bil edini mojster. Sledilnik opravil je dodelil sredstva, izvedel razporejanje in spremljal obdelave. Dodelil je zemljevid in zmanjšal naloge za številne podrejene procese, imenovane Task Trackers. Sledilci opravil so Jock Trackerju redno poročali o svojem napredku.

Ta zasnova je povzročila ozko grlo zaradi razširljivosti zaradi enega samega sledilca opravil.IBM je v svojem članku omenil, da po navedbah Yahoo !, praktične meje take zasnove dosežemo s skupino 5000 vozlišč in 40.000 nalog, ki se izvajajo hkrati.Poleg te omejitve je uporaba računalniških virov pri MRV1 neučinkovita. Prav tako se je okvir Hadoop omejil le na paradigmo obdelave MapReduce.

Da bi odpravili vse te težave, sta Yahoo in Hortonworks leta 2012 predstavila YARN v različici Hadoop 2.0. Osnovna ideja YARN je razbremeniti MapReduce s prevzemom odgovornosti za upravljanje virov in razporejanje delovnih mest. YARN je Hadoopu začel omogočati izvajanje nalog, ki niso MapReduce, v okviru Hadoop.

Spodaj si lahko ogledate tudi video, kjer je naš strokovnjak razpravlja o konceptih YARN in podrobno govori o arhitekturi.

Vadnica za Hadoop prejo | Arhitektura preje Hadoop | Edureka

Z uvedbo YARN, je bil popolnoma revolucionaren. Postal je veliko bolj prilagodljiv, učinkovit in razširljiv. Ko je Yahoo v prvem četrtletju leta 2013 začel delovati z YARN, je podjetju pomagal zmanjšati velikost grozda Hadoop s 40.000 vozlišč na 32.000 vozlišč. Toda število delovnih mest se je podvojilo na 26 milijonov na mesec.

Uvod v Hadoop YARN

Zdaj, ko sem vas razsvetlil s potrebo po YARN, naj vam predstavim osrednjo komponento Hadoop v2.0, PREJA . YARN omogoča različne metode obdelave podatkov, kot so obdelava grafov, interaktivna obdelava, obdelava tokov in paketna obdelava, za zagon in obdelavo podatkov, shranjenih v HDFS. Zato YARN odpira Hadoop drugim vrstam distribuiranih aplikacij, ki presegajo MapReduce.

je vs ima javo

YARN je uporabnikom omogočil izvajanje operacij na zahtevo z uporabo različnih orodij, kot je za obdelavo v realnem času, Panj za SQL, HBase za NoSQL in druge.

Poleg upravljanja virov YARN izvaja tudi razporejanje delovnih mest. YARN izvaja vse vaše dejavnosti obdelave z dodeljevanjem virov in razporejanjem nalog. Arhitektura Apache Hadoop YARN je sestavljena iz naslednjih glavnih komponent:

1. Upravitelj virov : Deluje na glavnem demonu in upravlja dodelitev virov v gruči.
2. Upravljalec vozlišč: Izvajajo se na pomožnih demonih in so odgovorni za izvajanje naloge na vsakem posameznem podatkovnem vozlišču.
3. Vodja aplikacije: Upravlja življenjski cikel uporabniškega opravila in potrebe po virih posameznih aplikacij. Deluje skupaj z upraviteljem vozlišč in spremlja izvajanje nalog.
4. Posoda: Paket virov, vključno z RAM-om, CPU-jem, omrežjem, trdim diskom itd., Na enem vozlišču.

Sestavni deli preje

Prejo lahko štejete za možgane vašega ekosistema Hadoop. Spodnja slika predstavlja arhitekturo YARN.

The prva komponenta YARN Architecture je,

Upravitelj virov

• Je glavni organ pri dodeljevanju virov .
• Ko prejme zahteve za obdelavo, ustrezno posreduje dele zahtev ustreznim upraviteljem vozlišč, kjer poteka dejanska obdelava.
• Arbiter virov grozda odloča o dodelitvi razpoložljivih virov za konkurenčne aplikacije.
• Optimizira uporabo grozda, tako da ves čas ves čas uporablja vse vire pred različnimi omejitvami, kot so garancije zmogljivosti, pravičnost in SLA.
• Ima dve glavni komponenti:a) Načrtovalecb)Upravitelj aplikacij

a) Načrtovalec

• Načrtovalnik je odgovoren za dodeljevanje virov različnim delujočim aplikacijam ob upoštevanju omejitev zmogljivosti, čakalnih vrst itd.
• V ResourceManagerju se imenuje čisti načrtovalnik, kar pomeni, da za aplikacije ne izvaja nobenega spremljanja ali sledenja stanja.
• Če pride do okvare aplikacije ali okvare strojne opreme, načrtovalec ne jamči za ponovni zagon neuspešnih nalog.
• Opravlja razporejanje na podlagi zahtev virov aplikacij.
• Ima vtičnik za vtični pravilnik, ki je odgovoren za razdelitev virov grozda med različne aplikacije. Obstajata dva taka vtičnika: Načrtovalec zmogljivosti in Fair Scheduler , ki se trenutno uporabljajo kot načrtovalci v programu ResourceManager.

b) Upravitelj aplikacij

• Odgovorna je za sprejemanje prijav za delo.
• Dogovori se o prvem vsebniku od upravitelja virov za izvajanje aplikacijskega mojstra aplikacije.
• Upravlja zagon aplikacijskih mojstrov v gruči in zagotavlja storitev za ponovni zagon vsebnika aplikacijskega masterja ob okvari.

Prihajam v druga komponenta kateri je:

Upravitelj vozlišč

• Skrbi za posamezna vozlišča v gruči Hadoop inupravlja uporabniška opravila in potek dela na danem vozlišču.
• Registrira se pri upravitelju virov in pošlje utripe z zdravstvenim stanjem vozlišča.
• Njegov glavni cilj je upravljanje vsebnikov aplikacij, ki mu jih dodeli upravitelj virov.
• Z Upraviteljem virov je na tekočem.
• Aplikacijski mojster zahteva dodeljeni vsebnik od upravitelja vozlišč, tako da mu pošlje kontekst za zagon vsebnika (CLC), ki vključuje vse, kar aplikacija potrebuje za zagon. Upravitelj vozlišč ustvari zahtevani postopek vsebnika in ga zažene.
• Nadzira porabo virov (pomnilnik, CPU) posameznih vsebnikov.
• Opravlja upravljanje dnevnika.
• Prav tako ubije vsebnik po navodilih upravitelja virov.

The tretja komponenta Apache Hadoop YARN je,

Glavni mojster

• Prijava je eno delovno mesto, predloženo okviru. Vsaka taka aplikacija ima z njo povezan edinstveni vodja aplikacije, ki je entiteta, specifična za ogrodje.
• To je proces, ki usklajuje izvajanje aplikacije v gruči in upravlja tudi napake.
• Njegova naloga je izpogajati vire iz Resource Managerja in sodelovati z Node Managerjem za izvajanje in spremljanje komponentnih nalog.
• Odgovoren je za pogajanja o ustreznih vsebnikih virov iz ResourceManagerja, sledenje njihovemu stanju in spremljanje napredka.
• Ko se enkrat začne, upravitelju virov redno pošilja utripe, da potrdi svoje zdravje in posodobi evidenco svojih potreb po virih.

The četrta komponenta je:

Zabojnik

• Je zbirka fizičnih virov, kot so RAM, jedra procesorja in diski na enem vozlišču.
• Z vsebniki YARN upravlja kontekst za zagon vsebnika, ki je življenjski cikel vsebnika (CLC). Ta zapis vsebuje zemljevid spremenljivk okolja, odvisnosti, shranjene v oddaljenem pomnilniku, varnostne žetone, koristni tovor za storitve Node Manager in ukaz, potreben za izdelavo procesa.
• Aplikaciji podeljuje pravice do uporabe določene količine virov (pomnilnik, CPU itd.) Na določenem gostitelju.

Predložitev prijave v PREJ

Oglejte si sliko in si oglejte korake pri oddaji vloge za Hadoop YARN:

1) Oddaj delo

2)Pridobite ID aplikacije

3) Ozadje za oddajo prijave

4 a) Začni vsebnikKosilo

b) Zaženi aplikacijski mojster

5) Dodelitev virov

6 a) Zabojnik

b) Izstrelitev

7) Izvedite

Potek dela v Hadoop YARN

Oglejte si podano sliko in si oglejte naslednje korake, ki so vključeni v potek dela aplikacije Apache Hadoop YARN:

1. Naročnik odda vlogo
2. Upravitelj virov dodeli vsebnik za zagon Upravitelja aplikacij
3. Upravitelj aplikacij se registrira pri upravitelju virov
4. Upravitelj aplikacij zahteva vsebnike od upravitelja virov
5. Upravitelj aplikacij obvesti upravitelja vozlišč, da zažene vsebnike
6. Koda aplikacije se izvede v vsebniku
7. Naročnik stopi v stik z upraviteljem virov / upraviteljem aplikacij, da spremlja stanje aplikacije
8. Upravitelj aplikacij se odjavi s programom Resource Manager

Zdaj, ko poznate prejo Apache Hadoop, si oglejte Edureka, zaupanja vredno podjetje za spletno učenje z mrežo več kot 250.000 zadovoljnih učencev, ki se širijo po vsem svetu. Tečaj Edureka Big Data Hadoop Certification Training pomaga učencem, da postanejo strokovnjaki za HDFS, prejo, MapReduce, Pig, Hive, HBase, Oozie, Flume in Sqoop z uporabo primerov uporabe v realnem času na področju maloprodaje, družbenih medijev, letalstva, turizma in financ.

Imate vprašanje za nas? Prosimo, omenite to v oddelku za komentarje in se vam bomo javili.