V današnjem svetu podatki so glavna sestavina internetnih aplikacij in običajno vključuje naslednje:
- Obiski strani in kliki
- Dejavnosti uporabnikov
- Dogodki, ki ustrezajo prijavam
- Dejavnosti socialnih mrež, kot so všečki, skupne rabe in komentarji
- Meritve, specifične za aplikacijo (npr. Dnevniki, čas nalaganja strani, zmogljivost itd.)
To podatki se lahko uporabljajo za izvajanje analitike v realnem času za različne namene, med katerimi so nekateri:
- Ponudba oglasov
- Sledenje nenormalnemu vedenju uporabnikov
- Prikaz iskanja glede na ustreznost
- Prikaz priporočil na podlagi prejšnjih dejavnosti
Težava: Zbiranje vseh podatkov ni enostavno, saj se podatki ustvarjajo iz različnih virov v različnih oblikah
Rešitev: Eden od načinov za rešitev te težave je uporaba sistema sporočanja. Sistemi za sporočanje omogočajo nemoteno integracijo med porazdeljenimi aplikacijami s pomočjo sporočil.
Apache Kafka:
Apache Kafka je distribuiran sistem za pošiljanje sporočil za naročanje, ki je bil prvotno razvit v LinkedInu, kasneje pa je postal del projekta Apache. Kafka je hitra, okretna, prilagodljiva in se po zasnovi distribuira.
Arhitektura in terminologija Kafka:
pl sql vadnica za razvijalce za začetnike
Tema: Tok sporočil, ki pripadajo določeni kategoriji, se imenuje tema
Producent: Proizvajalec je lahko katera koli aplikacija, ki lahko objavi sporočila na temo
Potrošnik: Potrošnik je lahko katera koli aplikacija, ki se naroči na teme in porabi sporočila
Posrednik: Grozd Kafka je niz strežnikov, od katerih se vsak imenuje posrednik
Kafka je prilagodljiv in omogoča ustvarjanje več vrst grozdov.
- Eno vozlišče Enotni posredniški grozd
- Skupina več posrednikov z enim vozliščem
- Skupina več posrednikov z več vozlišči
Single Node Single Broker
Kakšna je vloga ZooKeeperja?
Vsak Kafkin posrednik se z ZooKeeper usklajuje z drugimi posredniki Kafke. Storitev ZooKeeper proizvajalce in potrošnike obvesti o prisotnosti novih posrednikov ali okvari posrednika v sistemu Kafka.
Več posrednikov z enim vozliščem
Več vozlišč Več posrednikov
Kafka @ LinkedIn
LinkedIn Newsfeed poganja Kafka
nastavitev java classpath v Linuxu
Priporočila LinkedIn poganja Kafka
Obvestila LinkedIn poganja Kafka
Opomba: Poleg tega LinkedIn med drugim uporablja Kafko za številne druge naloge, kot so nadzor dnevnika, meritve zmogljivosti, izboljšanje iskanja.
Kdo še uporablja Kafko?
c ++ razvrščanje matrike
DataSift: DataSift Kafko uporablja kot zbiralca spremljanja dogodkov in za spremljanje porabe podatkovnih tokov med uporabniki v realnem času
Wooga: Wooga uporablja Kafko za združevanje in obdelavo podatkov o sledenju vseh njihovih iger na Facebooku (ki jih gostijo različni ponudniki) na osrednji lokaciji
Gobica: Spongecell uporablja Kafko za vodenje celotnega analitičnega in nadzornega cevovoda, ki poganja tako aplikacije v realnem času kot ETL
Loggly: Loggly je najbolj priljubljeno upravljanje dnevnika na svetu v oblaku. Za zbiranje hlodov uporablja Kafko.
Primerjalna študija: Kafka proti ActiveMQ proti RabbitMQ
Kafka ima učinkovitejši format shranjevanja.V povprečju ima vsako sporočilo v Kafki 9 bajtov, v ActiveMQ pa 144 bajtov.
Tako v ActiveMQ kot v RabbitMQ posredniki vzdržujejo stanje dostave vsakega sporočila s pisanjem na disk, v primeru Kafke pa zapisovanje na disk ni, zato je to hitrejše.
S širokim sprejetjem Kafke v proizvodnjo se zdi obetavna rešitev za reševanje resničnih svetovnih problemov. Izobraževanje Apache Kafka vam lahko pomaga, da v realnem času dosežete prednost pred vrstniki v analitični karieri. Začnite z vadnico Apache Kafka tukaj .
Imate vprašanje za nas? Prosimo, omenite to v oddelku za komentarje in se vam bomo javili.
Sorodne objave: