Če ste že iz IT industrija , tega se morate zavedati Veliki podatki je pogovor dneva. Naj bo to novoustanovljenim podjetjem, ki prihajajo z inovativnimi poslovnimi modeli, ali pa se vaši kolegi iz nekega razloga danes pridružijo tem zagonskim podjetjem, današnjim bolj zeleni pašniki zdi se Veliki podatki industriji.
Če se sprašujete, zakaj, potem vam priporočam, da to preberete do konca, ker je to lahko samostojni spletni dnevnik, ki vas pripelje do tega, čemur ste namenjeni.
Torej, zakaj vse toHIPokolici VELIKI PODATKI?
Je to le še ena domena, ki bo začasno pristala beguncem z vseh drugih domen? Ali pa bo tu na dolge proge?
Če bi ugibal, bi rekel, da ne samo, da bo tu na dolge razdalje, temveč bo industrija velikih podatkov v epicentru tehnološkega napredka.
Ker gre za vsePODATKI!
Tako kot SoncedvigneIzVzhodinkompletivZahod, bo nenehna uporaba računalniških / neračunalniških naprav povzročila izbruh neobvladljivih podatkov.
Ko ti podatki presežejo prag in jih obdeluje Excel ali kateri koli sistem za upravljanje baz podatkov, jih označimo VELIKI PODATKI .
Pomislite, kateri je bil zadnji izdelek, ki ste ga kupili pri Amazonu? Kateri je lahko naslednji izdelek, ki ga lahko kupite na podlagi preteklih dejavnosti? Odgovori na taka vprašanja so shranjeni v velikih podatkih.
Ali za izdelkom obstaja vedno večji trend? Ali pa obstaja trend upadanja? Ali bo kupec pri nakupu 'Čevljev' kupil 'Nogavice'? To so vprašanja za reševanje poslovnih težav.
In ta vprašanja je enostavno odgovoril z uporabo Analiza velikih podatkov .
Konec koncev, kakšna je uporaba podatkov, ko pa ne analiziranje to?
Torej, Big Datapopolnoma približnoAnalitika?Ne povsem, toda Analytics je najvišja nagrada.
kaj je indexof v javascriptu
Drugi pomembni tokovi v velikih podatkih soSkladiščenjeinUpravljanje.
Tu lahko kot strokovnjak prispevate. Vlogo lahko prevzamete:
- Inženir velikih podatkov
- Arhitekt rešitve za velike podatke
Prepričajte se, da so ustvarjeni veliki podatki vedno na voljo in jih je mogoče kasneje uporabiti za analitiko. Torej, to nas pripelje do vprašanja & hellip
Kje so shranjeni veliki podatki?
Ali ga je mogoče shraniti vDatoteka Excel? Ali ga je mogoče shraniti vsistem relacijskih baz podatkov?
Hudiča da ne!
Če bi lahko bilo, potem bi bilo!
In naj vas skupaj imenujejo drugače. Mogoče kaj podobnegaExcel-DataaliPodatki RDBMS: D
In to bi nas pripeljalo nazaj KORAK 1 : - Zakaj velikih podatkov ni mogoče upravljati z uporabo Excela? KerVeliki podatki so preveč vroči, da bi jih Excel lahko obdelal. In celo drugi sistemi za upravljanje baz podatkov.
Torej, kaj je alternativa?
Za obdelavo velikih podatkov imamo HADOOP . Mogoče se zavedate tudi te besede. Toda morda se sprašujete, kako natančno deluje?
Za začetek je HADOOP izdelekFundacija APACHE. Apache je ameriška neprofitna organizacija, ki podpira razvoj odprtokodne programske opreme.
Hadoop je opredeljen kot odprtokodni programski okvir na osnovi Jave, ki podpira obdelavo in shranjevanje izredno velikih naborov podatkov v porazdeljenem računalniškem okolju.
Kaj lahko stori Hadoop, Excel pa ne?
Obdelajte in razumite nestrukturirane podatke!S strukturiranimi podatki, ki so v obliki tabele ali drugače, je mogoče enostavno ravnati. Excel lahko to stori, lahko pa tudi kateri koli drug RDBMS.
Ko pa se berljivost zmanjša in so podatki nestrukturirani, so tu veliki podatkiorodja, kot je Hadooprezultat. Primer nestrukturiranih podatkov je syslog . Vzorčna slika je spodaj.
Takšnih dnevnikov zagotovo ni mogoče iskati z uporabo Excela.
Hadoop, tako kot orodja za velike podatke, lahko podatke razume takšne, kot so, z odkrivanjem vzorcev in oblikovanjem odnosov med različnimi polji. In ko imajo podatki relacijski pridih, soPripravljen za analitiko.
Analitika je tista, ki bo vplivala na organizacijo! Vaša udeležba na tej domeni velikih podatkov bo v veliki meri koristila vaši karieri.
' Ali lahko to naredim kot Hadoop-er? '
... je lahko naslednje vprašanje v tvoji glavi. In pravilno se mi zdi, da so Big Data trg vroči kot vedno in pomembni kot kdaj koli prej.
Brez Hadoopa se bodo podjetja težko spopadala z velikimi podatki. Brez usposobljenih strokovnjakov, kot ste vi, se bodo podjetja težko ukvarjala s Hadoopom.
Poročilo pravi, da je na tem področju primanjkljaj talentov, kar pomeni, da manjka poklic, manj strokovnjakov, a veliko povpraševanje. In to v svetovnem merilu in ni omejeno na določeno geografijo.
Bi radi številke?
TO McKinsey Global Institute Študija navaja, da se bodo ZDA do leta 2018 soočile s pomanjkanjem približno 190.000 podatkovnih znanstvenikov in 1,5 milijona upraviteljev in analitikov, ki bodo lahko razumeli in sprejemali odločitve z uporabo Big Data.
Karierni nasvet za vas? Surfajte, ko je plimovanja malo!
Toda ali ste omejeno samo Hadoop ?
Pravzaprav ne. Obstajajo številna orodja za obdelavo velikih podatkov, Hadoop pa velja za enega najboljših. Vendar ne vsakič!
Včasih Hadoop ni najbolj primeren. Če ste na primer netehnična oseba, ki ne zna pisati programov MapReduce.
V takih primerih lahko uporabiteTALENDA, ki vam daje grafični uporabniški vmesnik, s katerim lahko počnete vse, kar bi sicer storili z MapReduce.
Za pisanje preprostejših kod Java lahko uporabitePRAŠIČ.
Če želite na Big Data zagnati poizvedbe, podobne SQLHIVEje lahko uporabljen.
Če želite uporabiti podatke, shranjene v zbirki podatkov NoSQL, potemHBaseje lahko uporabljen.
Za izvajanje analitike v realnem času lahko uporabiteISKRA.
To so orodja za velike podatke, ki gredo z roko v roki s Hadoop-om, vendar Hadoop-a nikakor ne nadomeščajo. So dodatki Hadoop za velike podatke.
Poleg tega obstaja še nekaj orodij, kot so SQOOP, FLUME, OOZIE itd., Ki jih je mogoče integrirati v ogrodje Hadoop za reševanje različnih poslovnih problemov.
Kaj industrija pričakuje od vas kot strokovnjaka za velike podatke?
Industrija tega resnično potrebuje VELIKI PODATKI ARHITEKTI ki lahko zgradijo celovito rešitev za velike podatke za svoje organizacije. Big Data Architects so tisti, ki imajo strokovno znanje o vseh prej omenjenih orodjih.
Tukaj je pričevanje učenca Edureke o tečaj:
Postanite a začenši z Edurekinim certifikacijskim usposabljanjem za velike podatke in Hadoop, ki učencem pomaga, da postanejo strokovnjaki za HDFS, prejo, MapReduce, prašiče, panj, HBase, Oozie, Flume in Sqoop z uporabo primerov uporabe v realnem času na področju maloprodaje, družbenih medijev, letalstva, turizma in financ. .