Kafka Architecture

Kafka

hvis du ikke er sikker på, hvad Kafka er, se hvad er Kafka?.

Kafka arkitektur

Kafka består af poster, emner, forbrugere, producenter, mæglere, logfiler, partitioner og klynger. Registreringer kan have nøgle (valgfrit), værdi og tidsstempel. Kafka optegnelser er uforanderlige. Et Kafka-emne er en strøm af poster ("/orders", "/user-signups"). Du kan tænke på et emne som et feednavn. Et emne har en Log, som er emnets opbevaring på disken. En Emnelog er opdelt i partitioner og segmenter. Kafka Producer API bruges til at producere strømme af dataposter. Kafka Consumer API bruges til at forbruge en strøm af poster fra Kafka. En mægler er en Kafka-server, der kører i en Kafka-klynge. Kafka-mæglere danner en klynge. Kafka-klyngen består af mange Kafka-mæglere på mange servere. Broker henviser undertiden til mere af et logisk system eller som Kafka som helhed.

Cloudurable tilbyder Kafka-træning, Kafka-rådgivning, Kafka-support og hjælper med at oprette Kafka-klynger.

Kafka Arkitektur: Emner, producenter og forbrugere

Kafka bruger dyrepasser til at styre klyngen. Dyrepasser bruges til at koordinere mæglere/klyngetopologi. Dyrepasser er et konsistent filsystem til konfigurationsoplysninger. Dyrepasser bliver brugt til ledelsesvalg for mægler emne Partition ledere.

Kafka Architecture: Core Kafka

Kafka har brug for dyrepasser

Kafka bruger dyrepasser til at udføre ledelsesvalg af Kafka-mægler og Emnepartitionspar. Kafka bruger dyrepasser til at styre serviceopdagelse for Kafka-mæglere, der danner klyngen. Dyrepasser sender ændringer af topologien til Kafka, så hver knude i klyngen ved, hvornår en ny mægler sluttede sig, en mægler døde, et emne blev fjernet eller et emne blev tilføjet osv. Dyrepasser giver en in-sync visning af Kafka klynge konfiguration.

Kafka producent, forbruger, emne detaljer

Kafka producenter skriver til emner. Kafka forbrugere læser fra emner. Et emne er forbundet med en log, som er datastruktur på disken. Kafka tilføjer poster fra en producent(er) til slutningen af en emnelog. Et emne log består af mange partitioner, der er spredt over flere filer, som kan spredes på flere Kafka klynge noder. Forbrugerne læser fra Kafka emner på deres kadence og kan vælge, hvor de er (offset) i emneloggen. Hver forbrugergruppe sporer offset fra hvor de slap læsning. Kafka distribuerer emne log partitioner på forskellige noder i en klynge for høj ydeevne med vandret skalerbarhed. Spredning af partitioner hjælper med at skrive data hurtigt. Emne log partitioner er Kafka måde at shard læser og skriver til emnet log. Partitioner er også nødvendige for at have flere forbrugere i en forbrugergruppearbejde på samme tid. Kafka replikerer partitioner til mange noder for at give failover.

Kafka arkitektur: emne Partition, forbrugergruppe, Offset og producenter

Kafka skala og hastighed

Hvordan kan Kafka skalere, hvis flere producenter og forbrugere læser og skriver til samme Kafka-emnelog på samme tid? Først Kafka er hurtig, Kafka skriver til filsystem sekventielt, som er hurtig. På et moderne hurtigt drev kan Kafka nemt skrive op til 700 MB eller flere bytes data et sekund. Kafka scales skriver og læser ved at sharding emne logger ind i partitioner. Recall emner logfiler kan opdeles i flere partitioner, som kan gemmes på flere forskellige servere, og disse servere kan bruge flere diske.Flere producenter kan skrive til forskellige partitioner af samme emne. Flere forbrugere fra flere forbrugergrupper kan læse fra forskellige partitioner effektivt.

Kafka mæglere

en Kafka klynge består af flere Kafka mæglere. Hver Kafka-mægler har et unikt ID (nummer).Kafka mæglere indeholder emne log partitioner. Tilslutning til en mægler bootstraps en klient til hele Kafka-klyngen.For failover vil du starte med mindst tre til fem mæglere. En Kafka-klynge kan have 10, 100 eller 1.000 mæglere i en klynge, hvis det er nødvendigt.

Kafka Cluster, Failover, ISRs

Kafka understøtter replikation for at understøtte failover. Husk, at Kafka bruger Dyreperson til at danne Kafka-mæglere i en klynge, og hver node i Kafka-klyngen kaldes en Kafka-mægler.Emne partitioner kan replikeres på tværs af flere noder til failover. Emnetskal have en replikationsfaktor større end 1 (2 eller 3). For eksempel, hvis du kører i AV, vil du være i stand til at overleve en enkelt tilgængelighedsområdeafbrydelse.Hvis en Kafka-mægler går ned, kan Kafka-mægleren, som er en ISR (in-sync replica), tjene data.

Kafka Failover vs. Kafka Disaster Recovery

Kafka bruger replikation til failover. Replikation af Kafka-emnelogpartitionergiver mulighed for fejl i et rack eller et område med tilgængelighed. Du har brug for en replikationsfaktor på mindst 3 for at overleve en enkelt fejl. Du skal bruge Mirror Maker, Et Kafka-værktøj, der leveres med Kafka core, til katastrofegendannelse. Mirror Makerreplicerer en Kafka-klynge til et andet datacenter.De kalder, Hvad Mirror Maker spejler for ikke at forveksles med replikation.

Bemærk Der er ingen hård og hurtig regel om, hvordan du skal konfigurere Kafka-klyngen i sig selv.Du kan f.eks. oprette hele klyngen i et enkelt format, så du kan bruge forbedrede netværks-og placeringsgrupper til højere kapacitet og derefter bruge Spejlmaker til at spejle klyngen til et andet format i samme område som en hot-standby.

Kafka arkitektur: Kafka dyrepasser koordinering

Kafka emner arkitektur

fortsæt med at læse om Kafka arkitektur. Den næste artikel dækker Kafka emner Arkitekturmed en diskussion af, hvordan partitioner bruges til fail-over og parallel behandling.

• Hvad er Kafka?
• Kafka arkitektur
• Kafka Topic Architecture
• Kafka Consumer Architecture
• Kafka Producer Architecture
• Kafka arkitektur og lavt niveau design
• Kafka and Schema Registry
• Kafka and Avro
• Kafka økosystem
• Kafka vs. JMS
• Kafka versus Kinesis
• Kafka Tutorial: Brug af Kafka fra kommandolinjen
• Kafka Tutorial: Kafka Broker Failover og forbruger Failover
• Kafka Tutorial
• Kafka Tutorial: skrivning af et Kafka Producenteksempel i Java
• Kafka Tutorial: skrivning af et Kafka Forbrugereksempel i Java
• Kafka arkitektur: Log komprimering
• Kafka arkitektur: pdf-dias på lavt niveau

om Cloudurable

vi håber du nød denne artikel. Giv feedback.Cloudurable tilbyder Kafka-træning, Kafka-rådgivning, Kafka-support og hjælper med at oprette Kafka-klynger.

tjek vores nye GoLang kursus. Vi tilbyder onsite Go Lang træning, som er instruktør ledet.

bøger