Kafka-Arkkitehtuuri

Tweet

jos et ole varma, mikä Kafka on, katso Mikä on Kafka?.

Kafka-Arkkitehtuuri

Kafka koostuu äänitteistä, aiheista, kuluttajista, tuottajista, välittäjistä, lokeista, osioista ja klustereista. Tietueissa voi olla avain (valinnainen), arvo ja aikaleima. Kafkan tiedot ovat muuttumattomia. Kafka-aihe on ennätysten virta("/orders", "/user-signups"). Voit ajatella aiheen syötteen nimellä. Aiheella on Loki, joka on aiheen tallennustila levyllä. Aiheloki jaetaan osioihin ja segmentteihin. Kafkan Tuottajarajapintaa käytetään tietueiden virtojen tuottamiseen. Kafkan Kuluttajarajapintaa käytetään Kafkan levyvirran kuluttamiseen. Välittäjä on Kafka-palvelin, joka toimii Kafka-klusterissa. Kafkan välittäjät muodostavat klusterin. Kafka-klusteri koostuu monista Kafka-välittäjistä monilla palvelimilla. Broker viittaa joskus enemmän loogiseen järjestelmään tai Kafkaan kokonaisuutena.

Cloudurable tarjoaa Kafka-koulutusta, Kafka Consultingia, Kafka-tukea ja auttaa perustamaan Kafka-klustereita AWS: ssä.

Kafkan Arkkitehtuuri: Topics, Producers and Consumers

Kafka käyttää zookeeperiä rykelmän hoitamiseen. Zookeeperiä käytetään välittäjien / klusteritopologian koordinointiin. ZooKeeper on johdonmukainen tiedostojärjestelmä konfiguraatiotietoihin. ZooKeeper saa käyttää johtajuus vaalit välittäjä aihe osio johtajat.

Kafkan Arkkitehtuuri: Core Kafka

Kafka tarvitsee Eläintenhoitajan

Kafka käyttää eläintenhoitajaa Kafkan meklari-ja Aihetunnisteparien johtajavalintaan. Kafka hallinnoi zookeeperin avulla klusterin muodostavien Kafka-välittäjien palvelulöytöjä. Zookeeper lähettää muutoksia topologiaan Kafkalle, joten jokainen klusterin solmu tietää, milloin Uusi välittäjä liittyi, välittäjä kuoli, aihe poistettiin tai aihe lisättiin jne. Zookeeper tarjoaa synkronoidun näkymän Kafka-klusterin kokoonpanosta.

Kafkan tuottaja, kuluttaja, aiheen yksityiskohdat

Kafkan tuottajat kirjoittavat aiheisiin. Kafkan kuluttajat lukevat aiheista. Aihe liittyy lokiin, joka on levyn tietorakenne. Kafka liittää tietueita tuottajalta tai tuottajilta aihelokin loppuun. Aiheloki koostuu monista osioista, jotka on jaettu useisiin tiedostoihin, jotka voidaan levittää useisiin Kafka-klusterin solmuihin. Kuluttajat lukevat Kafka-aiheita kadenssissaan ja voivat valita aihelokista, missä ne ovat (offset). Jokainen kuluttajaryhmä seuraa poikkeamia siitä, mihin he jäivät lukemasta. Kafka jakaa aihelokiosioita klusterin eri solmuille korkean suorituskyvyn saavuttamiseksi horisontaalisella skaalautuvuudella. Osioiden levittäminen auttaa tietojen kirjoittamisessa nopeasti. Aihe lokiosiot ovat Kafka tapa shard lukee ja kirjoittaa aihe loki. Myös osioita tarvitaan, jotta useampi kuluttaja kuluttajaryhmässä työskentelee samaan aikaan. Kafka monistaa osioita moniin solmuihin, jotta ne eivät toimi.

Kafka-Arkkitehtuuri: Aihejaosto, kuluttajaryhmä, Offset ja tuottajat

Kafkan mittakaava ja nopeus

miten Kafka voi skaalata, jos useat tuottajat ja kuluttajat lukevat ja kirjoittavat samaan Kafkan aihelokiin samaan aikaan? Ensimmäinen Kafka on nopea, Kafka kirjoittaa tiedostojärjestelmään peräkkäin, joka on nopea. Nykyaikaisella pikavipillä Kafka voi helposti kirjoittaa jopa 700 MB tai enemmän tavua dataa sekunnissa. Kafka skaalaa kirjoittaa ja lukee jakamalla aihelokeja osioihin. Recall topics-lokit voidaan jakaa useisiin osioihin, jotka voidaan tallentaa useille eri palvelimille, ja nämä palvelimet voivat käyttää useita levyjä.Useat tuottajat voivat kirjoittaa saman aiheen eri osioihin. Useat kuluttajat eri kuluttajaryhmistä voivat lukea eri osioista tehokkaasti.

Kafka-välittäjät

Kafka-klusteri koostuu useista Kafka-välittäjistä. Jokaisella Kafka-välittäjällä on yksilöllinen tunnus (numero).Kafka välittäjät sisältävät aihe lokiosioita. Yhteys yhteen välittäjään käynnistää asiakkaan koko Kafka-klusteriin.Failover, haluat aloittaa vähintään kolmesta viiteen välittäjät. Kafka-klusterissa voi tarvittaessa olla 10, 100 tai 1 000 välittäjää.

Kafka Cluster, Failover, ISRs

Kafka tukee replikointia failoverin tukemiseksi. Muista, että Kafka käyttää ZooKeeperto muodostavat Kafka välittäjät klusterin ja jokainen solmu Kafka klusterin kutsutaan Kafka välittäjä.Aiheosioita voidaan toistaa useiden solmujen välillä vikaantumista varten. Topicin replikaatiokertoimen tulisi olla suurempi kuin 1 (2 tai 3). Esimerkiksi, jos olet käynnissä AWS, haluat pystyä selviytymään yhden saatavuuszone katkos.Jos yksi Kafka välittäjä menee alas, niin Kafka välittäjä, joka on ISR (synkronoimaton replica)voi palvella tietoja.

Kafka Failover vs. Kafka Disaster Recovery

Kafka käyttää replikointia failover. Kafka-aihelokiosien replikointi mahdollistaa telineen tai AWS-käytettävyysalueen (az) vikaantumisen. Tarvitset replikaatiofaktori vähintään 3 hengissä yhden AZ vika. Sinun täytyy käyttää Mirror Maker,Kafka apuohjelma, joka alukset Kafka core, katastrofin toipumiseen. Mirror Makerreplisoi Kafka-klusterin toiseen datakeskukseen tai AWS-alueeseen.He kutsuvat mitä Mirror Maker tekee peilaus ei pidä sekoittaa replikointi.

huomaa, että ei ole olemassa kovaa ja nopeaa sääntöä siitä, miten sinun täytyy perustaa Kafka klusteri sinänsä.Voit esimerkiksi perustaa koko klusterin yhteen AZ: iin, jotta voit käyttää tehostettua verkostoitumista ja sijoittamisryhmiä suuremmalla suoritusteholla, ja sitten käyttää Peilimakertoa peilaamaan klusteri toiseen AZ: hen samalla alueella kuin kuumavalmiudessa.

Kafka Architecture: Kafka Zookeeper Coordination

Kafka Topics Architecture

jatka lukemista Kafka Architecture. Seuraavassa artikkelissa käsitellään Kafka-Aihearkkitehtuuria ja keskustellaan siitä, miten osioita käytetään vikaantumiseen ja rinnakkaiseen käsittelyyn.

• mitä Kafka on?
• Kafka-Arkkitehtuuri
• Kafka-Aihearkkitehtuuri
• Kafka-Kulutusarkkitehtuuri
• Kafka-Tuottajaarkkitehtuuri
• Kafka-arkkitehtuuri ja matalan tason suunnittelu
• Kafka-ja Skeemarekisteri
• Kafka ja Avro
• Kafkan ekosysteemi
• Kafka vs. jms
• Kafka vs. Kineesi
• Kafkan opetusohjelma: Kafkan käyttäminen komentoriviltä
• Kafka Tutorial: Kafka Broker Failover ja Consumer Failover
• Kafka Tutorial
• Kafka Tutorial: Writing a Kafka Producer example in Java
• Kafka Tutorial: Writing a Kafka Consumer example in Java
• Kafka Architecture: Log Compaction
• Kafka architecture: low-level pdf slides

About Cloudurable

toivomme, että pidit tästä artikkelista. Anna palautetta.Cloudurable tarjoaa Kafka-koulutusta, Kafka Consultingia, Kafka-tukea ja auttaa perustamaan Kafka-klustereita AWS: ssä.

Tsekkaa Uusi Golangin rata. Tarjoamme paikan päällä Go Lang koulutusta, joka on ohjaaja led.

Tweet