Kafka Architecture

Tweet

hvis Du ikke er sikker på Hva Kafka er, se Hva Er Kafka?.

Kafka Architecture

Kafka består Av Poster, Emner, Forbrukere, Produsenter, Meglere, Logger, Partisjoner og Klynger. Poster kan ha nøkkel( valgfritt), verdi og tidsstempel. Kafka Records er uforanderlige. Et Kafka-Emne er en strøm av poster ("/orders", "/user-signups"). Du kan tenke På Et Emne som et feednavn. Et emne har En Logg som er emnets lagring på disken. En Emnlogg er delt opp i partisjoner og segmenter. Kafka Producer API brukes til å produsere strømmer av dataposter. Kafka Consumer API brukes til å konsumere en strøm av poster fra Kafka. En Megler er En Kafka-server som kjører I En Kafka-Klynge. Kafka Meglere danner en klynge. Kafka-Klyngen består av Mange Kafka-Meglere på mange servere. Megler refererer noen ganger til mer av et logisk system eller Som Kafka som helhet.

Cloudurable gir Kafka trening, Kafka consulting, Kafka støtte og hjelper sette Opp Kafka klynger I AWS.

Kafka Arkitektur: Emner, Produsenter Og Forbrukere

Kafka bruker ZooKeeper til å administrere klyngen. ZooKeeper brukes til å koordinere meglere / cluster topologi. ZooKeeper er et konsekvent filsystem for konfigurasjonsinformasjon. ZooKeeper blir brukt til lederskap valg For Megler Emne Partisjon Ledere.

Kafka Arkitektur: Kjerne Kafka

Kafka trenger ZooKeeper

Kafka bruker Zookeeper å gjøre ledelse valg Av Kafka Megler Og Emne Partisjon par. Kafka bruker Zookeeper til å administrere service discovery for Kafka Meglere som danner klyngen. Zookeeper sender endringer av topologien Til Kafka, slik at hver node i klyngen vet når en ny megler ble med, En Megler døde, et emne ble fjernet eller et emne ble lagt til, etc. Zookeeper gir en synkronisert visning Av Kafka Cluster konfigurasjon.

Kafka Producer, Consumer, Emnedetaljer

Kafka producers skriv Til Emner. Kafka forbrukere leser Fra Emner. Et emne er knyttet til en logg som er datastruktur på disken. Kafka legger poster fra en produsent (e) til slutten av en emnlogg. En emnlogg består av mange partisjoner som er spredt over flere filer som kan spres på flere Kafka cluster noder. Forbrukerne leser Fra Kafka emner på deres tråkkfrekvens og kan velge hvor de er (offset) i emnloggen. Hver forbrukergruppe sporer offset fra hvor de sluttet å lese. Kafka distribuerer emnloggpartisjoner på forskjellige noder i en klynge for høy ytelse med horisontal skalerbarhet. Spre partisjoner hjelpemidler i å skrive data raskt. Topic log partisjoner Er Kafka måte å shard leser og skriver til emnet loggen. Det er også nødvendig med partisjoner for å få flere forbrukere i en forbrukergruppe til å jobbe samtidig. Kafka replikerer partisjoner til mange noder for å gi failover.

Kafka Architecture: Emne Partisjon, Forbrukergruppe, Offset Og Produsenter

Kafka Skala Og Hastighet

Hvordan kan Kafka skala hvis flere produsenter og forbrukere leser og skriver til Samme Kafka emnlogg samtidig? Først Kafka er rask, Skriver Kafka til filsystem sekvensielt som er rask. På en moderne rask stasjon Kan Kafka enkelt skrive opptil 700 MB eller flere byte data et sekund. Kafka scales skriver og leser ved å dele emnlogger i partisjoner. Recall emner logger kan deles inn i flere partisjoner som kan lagres på flere forskjellige servere, og disse serverne kan bruke flere disker.Flere produsenter kan skrive til forskjellige partisjoner av samme emne. Flere forbrukere fra flere forbrukergrupper kan lese fra ulike partisjoner effektivt.

Kafka Meglere

En Kafka klynge består av flere Kafka Meglere. Hver Kafka Megler har en unik ID (nummer).Kafka Meglere inneholder emne logg partisjoner. Koble til en megler bootstraps en klient til Hele Kafka klyngen.For failover vil du starte med minst tre til fem meglere. En Kafka-klynge kan ha 10, 100 eller 1000 meglere i en klynge om nødvendig.

Kafka Cluster, Failover, ISRs

Kafka støtter replikering for å støtte failover. Husk At Kafka bruker Zookeeperå danne Kafka Meglere i en klynge og hver node I Kafka klynge kalles En Kafka Megler.Emnepartisjoner kan replikeres over flere noder for failover. Emnetbør ha en replikasjonsfaktor større enn 1 (2 eller 3). For eksempel, hvis du kjører I AWS, vil du være i stand til å overleve en enkelt availabilityzone strømbrudd.Hvis En Kafka-Megler går ned, Kan Kafka-Megleren som ER EN ISR (in-sync replica)betjene data.

Kafka Failover vs Kafka Disaster Recovery

Kafka bruker replikering for failover. Replikering Av Kafka emne logg partisjonertillater for svikt i en rack eller AWS availability zone (AZ). Du trenger en replikasjonsfaktor på minst 3 for å overleve en ENKELT az-feil. Du må bruke Mirror Maker, Et Kafka-verktøy som leveres Med Kafka core, for katastrofegjenoppretting. Mirror Makerreplicates En Kafka klynge til et annet datasenter eller AWS region.De kaller Hva Mirror Maker gjør speiling som ikke må forveksles med replikering.

Merk det er ingen hard og rask regel om hvordan du må sette Opp Kafka-klyngen i seg selv.Du kan for eksempel sette opp hele klyngen i en ENKELT AZ, slik at du kan bruke forbedrede nettverk og plasseringsgrupper for høyere gjennomstrømning, og deretter bruke Speilmakerå speil klyngen til en ANNEN AZ i samme region som en varm ventemodus.

Kafka Architecture: Kafka Zookeeper Coordination

Kafka Emner Arkitektur

fortsett å lese Om Kafka Arkitektur. Den neste artikkelen dekker Kafka Emner Arkitektur Med en diskusjon om hvordan partisjoner brukes for fail-over og parallell behandling.

• Hva Er Kafka?
• Kafka Arkitektur
• Kafka Emne Arkitektur
• Kafka Forbrukerarkitektur
• Kafka Produsent Arkitektur
• Kafka Arkitektur og design på lavt nivå
• Kafka Og Skjema Register
• Kafka Og Avro
• Kafka Økosystem
• Kafka Vs Jms
• Kafka Versus Kinesis
• Kafka Tutorial: Bruke Kafka fra kommandolinjen
• Kafka Tutorial: Kafka Megler Failover Og Forbruker Failover
• Kafka Tutorial
• Kafka Tutorial: Skrive En Kafka Produsent eksempel I Java
• Kafka Tutorial: Skrive En Kafka Forbruker eksempel I Java
• Kafka Arkitektur: Logg Komprimering
• kafka-arkitektur: pdf-Lysbilder på lavt nivå

Om Cloudurable

vi håper du likte denne artikkelen. Vennligst gi tilbakemelding.Cloudurable gir Kafka trening, Kafka consulting, Kafka støtte og hjelper sette Opp Kafka klynger I AWS.

Sjekk Ut Vårt Nye GoLang kurs. Vi tilbyr stedet Go Lang trening som er instruktør ledet.

Tweet