Odgovornosti skrbnika Hadoop



Ta spletni dnevnik o odgovornostih skrbnika Hadoop razpravlja o obsegu administracije Hadoop. Hadoop skrbniška delovna mesta so zelo zahtevna, zato se naučite Hadoopa zdaj!

Z večjim uvajanjem Hadoop-a v tradicionalne rešitve za podjetniške IT in povečanim številom implementacij Hadoop-a v proizvodnem okolju postaja potreba po strokovnjakih Hadoop Operations and Administration, da skrbijo za velike Hadoop Grozde.

Odgovornosti skrbnika Hadoop:

  • Odgovoren za izvajanje in stalno upravljanje infrastrukture Hadoop.
  • Uskladitev s skupino sistemskega inženirja za predlaganje in uvajanje novih strojnih in programskih okolij, potrebnih za Hadoop, ter za razširitev obstoječih okolij.
  • Sodelovanje s skupinami za dostavo podatkov za nastavitev novih uporabnikov Hadoop. To delo vključuje nastavitev uporabnikov Linuxa, nastavitev principalov Kerberos in testiranje dostopa HDFS, Hive, Pig in MapReduce za nove uporabnike.
  • Vzdrževanje grozdov ter ustvarjanje in odstranjevanje vozlišč z orodji, kot so Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage in drugimi orodji.
  • Prilagajanje zmogljivosti grozdov Hadoop in rutin Hadoop MapReduce.
  • Screen Hadoop delovne naloge grozda in načrtovanje zmogljivosti
  • Nadzirajte povezljivost in varnost grozda Hadoop
  • Upravljanje in pregledovanje dnevniških datotek Hadoop.
  • Upravljanje in spremljanje datotečnega sistema.
  • Podpora in vzdrževanje HDFS.
  • Pridno povezovanje z ekipami za infrastrukturo, omrežje, baze podatkov, aplikacije in poslovno inteligenco, da se zagotovi visoka kakovost in razpoložljivost podatkov.
  • Sodelovanje s skupinami aplikacij za namestitev posodobitev operacijskega sistema in Hadoop, popravkov in nadgradenj različic, kadar je to potrebno.
  • Kontaktna točka za stopnjevanje prodajalca

Hadoop Administration je koristna in donosna kariera z obilico priložnosti za rast. Če vas zgoraj naštete delovne odgovornosti zanimajo, je čas, da nadgradite službo Hadoop Administration in stopite na karierno pot Hadoop Admin.





kaj je swing v javi

Become-a-Hadoop-Administrator

Odgovornosti DBA, ki jih izvaja skrbnik Hadoop:

  • Modeliranje, oblikovanje in izvedba podatkov na podlagi priznanih standardov.
  • Namestitev in konfiguracija programske opreme.
  • Varnostno kopiranje in obnovitev zbirke podatkov.
  • Povezljivost in varnost baz podatkov.
  • Spremljanje in nastavljanje zmogljivosti.
  • Upravljanje prostora na disku.
  • Popravki in nadgradnje programske opreme.
  • Avtomatizirajte ročne naloge.

Odgovornosti za razvoj DWH izvaja Hadoop Administrator:

DWH skrbnik delovnih nalog vključuje razvoj, testiranje in spremljanje serijskih opravil za naslednje naloge:



  • Zagotovite referenčno integriteto.
  • Izvedite izvajanje primarnega ključa.
  • Dokončajte ponovne podatke.
  • Pravočasno naložite velike količine podatkov.

Zdaj, ko poznate delovne naloge skrbnika Hadoopa, si oglejmo veščine, ki jih potrebujete za to.

Potrebne spretnosti, da postanete skrbnik Hadoop:

  • Splošno operativno strokovno znanje, kot so dobre veščine za odpravljanje težav, razumevanje zmogljivosti sistema, ozka grla, osnove pomnilnika, CPU, OS, pomnilnika in omrežij.
  • Hadoop spretnosti, kot so HBase, Hive, Pig, Mahout itd.
  • Najpomembnejše zahteve so: Zmogljivi naj bodo uvajanje grozda Hadoop, dodajanje in odstranjevanje vozlišč, spremljanje opravil, spremljanje kritičnih delov grozda, konfiguriranje visoke razpoložljivosti vozlišč z imeni, razporejanje in konfiguriranje ter varnostno kopiranje.
  • Dobro poznavanje Linuxa, saj Hadoop deluje na Linuksu.
  • Poznavanje odprtokodnih orodij za upravljanje in uvajanje konfiguracije, kot so lutke ali skripti za chef in Linux.
  • Znanje odpravljanja težav z osnovnimi aplikacijami Java je plus.

Edureka je posebej pripravila tečaj o administraciji Hadoop. Kliknite spodnji gumb, da začnete uporabljati Hadoop Administration in se naučite, kako vam tečaj pomaga postati skrbnik Hadoop.



Sorodne objave:

preobremenitev metode in preglasitev metode v javi

Kariera s certifikatom Hadoop.

Kako bistven je Hadoop Training?