Hadoop, kot vsi vemo, je plakat velikan podatkov. Kot programski okvir, ki lahko obdeluje slonovske deleže podatkov, se je Hadoop uvrstil na vrh seznama modnih besed CIO.
fibonaccijevo zaporedje c ++
Vendar pa je naraščanje sklada v pomnilniku brez primere uvedlo ekosistem velikih podatkov novo alternativo analitiki. Način analitike MapReduce nadomešča nov pristop, ki omogoča analitiko tako znotraj okvira Hadoop kot zunaj njega. Apache Spark je nov obraz analitike velikih podatkov.
Navdušenci nad velikimi podatki so Apache Spark certificirali kot najbolj vroč motor za računalniške podatke za velike podatke na svetu. MapReduce in Java hitro odstranjuje s svojih položajev, trendi zaposlitve pa odražajo to spremembo. Glede na raziskavo TypeSafe trenutno 71% globalnih razvijalcev Jave ocenjuje ali raziskuje okoli Sparka, 35% pa jih je že začelo uporabljati. Trenutno so v iskanju strokovnjaki za Spark, v naslednjih tednih pa naj bi število zaposlitev, povezanih s Sparkom, šlo le skozi streho.
Torej, kaj je zaradi Apache Spark prikazano na vrhu vsakega seznama opravil CIO?
Tu je nekaj zanimivih lastnosti Apache Spark:
- Hadoop integracija - Spark lahko deluje z datotekami, shranjenimi v HDFS.
- Sparkova interaktivna lupina - Spark je napisan v Scali in ima svojo različico tolmača Scala.
- Spark’s Analytic Suite - Spark ima orodja za interaktivno analizo poizvedb, obsežno obdelavo in analizo grafov ter analizo v realnem času.
- Prožni porazdeljeni nabori podatkov (RDD) - RDD-ji so porazdeljeni objekti, ki jih je mogoče predpomniti v pomnilniku prek gruče računskih vozlišč. So primarni podatkovni objekti, ki se uporabljajo v Sparku.
- Porazdeljeni operaterji - Poleg MapReduce obstaja še veliko drugih operaterjev, ki jih lahko uporabljate na RDD.
Organizacije, kot so NASA, Yahoo in Adobe, so se zavezale podjetju Spark. To je dejal John Tripier, zavezništva in vodja ekosistemov pri Databricks: »Sprejetje Apache Spark v velikih in majhnih podjetjih neverjetno hitro narašča v številnih panogah, povpraševanje po razvijalcih s certificiranim znanjem pa je hitro po obleki «. Nikoli ni bilo boljšega časa za učenje Spark, če imate ozadje v Hadoopu.
Edureka je posebej pripravila tečaj Apache Spark & Scala, ki so ga soustvarili strokovnjaki iz resnične industrije. Za diferencirano izkušnjo e-učenja v živo skupaj s projekti, pomembnimi za panogo, si oglejte naš tečaj. Kmalu se začenjajo nove serije, zato si oglejte tečaj tukaj: .
Imate vprašanje za nas? Prosimo, omenite to v oddelku za komentarje in se vam bomo javili.
Sorodne objave:
krofni grafikon vs tortni grafikon