Z večjim uvajanjem Hadoop-a v tradicionalne rešitve za podjetniške IT in povečanim številom implementacij Hadoop-a v proizvodnem okolju postaja potreba po strokovnjakih Hadoop Operations and Administration, da skrbijo za velike Hadoop Grozde.
Odgovornosti skrbnika Hadoop:
- Odgovoren za izvajanje in stalno upravljanje infrastrukture Hadoop.
- Uskladitev s skupino sistemskega inženirja za predlaganje in uvajanje novih strojnih in programskih okolij, potrebnih za Hadoop, ter za razširitev obstoječih okolij.
- Sodelovanje s skupinami za dostavo podatkov za nastavitev novih uporabnikov Hadoop. To delo vključuje nastavitev uporabnikov Linuxa, nastavitev principalov Kerberos in testiranje dostopa HDFS, Hive, Pig in MapReduce za nove uporabnike.
- Vzdrževanje grozdov ter ustvarjanje in odstranjevanje vozlišč z orodji, kot so Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage in drugimi orodji.
- Prilagajanje zmogljivosti grozdov Hadoop in rutin Hadoop MapReduce.
- Screen Hadoop delovne naloge grozda in načrtovanje zmogljivosti
- Nadzirajte povezljivost in varnost grozda Hadoop
- Upravljanje in pregledovanje dnevniških datotek Hadoop.
- Upravljanje in spremljanje datotečnega sistema.
- Podpora in vzdrževanje HDFS.
- Pridno povezovanje z ekipami za infrastrukturo, omrežje, baze podatkov, aplikacije in poslovno inteligenco, da se zagotovi visoka kakovost in razpoložljivost podatkov.
- Sodelovanje s skupinami aplikacij za namestitev posodobitev operacijskega sistema in Hadoop, popravkov in nadgradenj različic, kadar je to potrebno.
- Kontaktna točka za stopnjevanje prodajalca
Hadoop Administration je koristna in donosna kariera z obilico priložnosti za rast. Če vas zgoraj naštete delovne odgovornosti zanimajo, je čas, da nadgradite službo Hadoop Administration in stopite na karierno pot Hadoop Admin.
kaj je swing v javi
Odgovornosti DBA, ki jih izvaja skrbnik Hadoop:
- Modeliranje, oblikovanje in izvedba podatkov na podlagi priznanih standardov.
- Namestitev in konfiguracija programske opreme.
- Varnostno kopiranje in obnovitev zbirke podatkov.
- Povezljivost in varnost baz podatkov.
- Spremljanje in nastavljanje zmogljivosti.
- Upravljanje prostora na disku.
- Popravki in nadgradnje programske opreme.
- Avtomatizirajte ročne naloge.
Odgovornosti za razvoj DWH izvaja Hadoop Administrator:
DWH skrbnik delovnih nalog vključuje razvoj, testiranje in spremljanje serijskih opravil za naslednje naloge:
- Zagotovite referenčno integriteto.
- Izvedite izvajanje primarnega ključa.
- Dokončajte ponovne podatke.
- Pravočasno naložite velike količine podatkov.
Zdaj, ko poznate delovne naloge skrbnika Hadoopa, si oglejmo veščine, ki jih potrebujete za to.
Potrebne spretnosti, da postanete skrbnik Hadoop:
- Splošno operativno strokovno znanje, kot so dobre veščine za odpravljanje težav, razumevanje zmogljivosti sistema, ozka grla, osnove pomnilnika, CPU, OS, pomnilnika in omrežij.
- Hadoop spretnosti, kot so HBase, Hive, Pig, Mahout itd.
- Najpomembnejše zahteve so: Zmogljivi naj bodo uvajanje grozda Hadoop, dodajanje in odstranjevanje vozlišč, spremljanje opravil, spremljanje kritičnih delov grozda, konfiguriranje visoke razpoložljivosti vozlišč z imeni, razporejanje in konfiguriranje ter varnostno kopiranje.
- Dobro poznavanje Linuxa, saj Hadoop deluje na Linuksu.
- Poznavanje odprtokodnih orodij za upravljanje in uvajanje konfiguracije, kot so lutke ali skripti za chef in Linux.
- Znanje odpravljanja težav z osnovnimi aplikacijami Java je plus.
Edureka je posebej pripravila tečaj o administraciji Hadoop. Kliknite spodnji gumb, da začnete uporabljati Hadoop Administration in se naučite, kako vam tečaj pomaga postati skrbnik Hadoop.
Sorodne objave:
preobremenitev metode in preglasitev metode v javi