Kafka Architecture

Tweet

pokud si nejste jisti, co je Kafka, podívejte se, co je Kafka?.

Kafka Architecture

Kafka se skládá ze záznamů, témat, spotřebitelů, producentů, makléřů, protokolů, oddílů a klastrů. Záznamy mohou mít klíč (volitelné), hodnotu a časové razítko. Kafkovy záznamy jsou neměnné. Kafkovo téma je proud záznamů ("/orders", "/user-signups"). Téma si můžete představit jako název zdroje. Téma má protokol, který je úložiště tématu na disku. Protokol témat je rozdělen na oddíly a segmenty. Kafka Producer API se používá k výrobě toků datových záznamů. Kafka Consumer API se používá ke spotřebování proudu záznamů z Kafky. Zprostředkovatel je Kafka server, který běží v klastru Kafka. Kafka Brokers tvoří klastr. Klastr Kafka se skládá z mnoha makléřů Kafka na mnoha serverech. Broker někdy odkazují na více logického systému nebo jako Kafka jako celek.

Cloudurable poskytuje školení Kafka, Kafka consulting, podporu Kafka a pomáhá při vytváření klastrů Kafka v AWS.

Kafkova Architektura: Témata, výrobci a spotřebitelé

Kafka používá ZooKeeper ke správě clusteru. ZooKeeper se používá ke koordinaci topologie makléřů / klastrů. ZooKeeper je konzistentní souborový systém pro informace o konfiguraci. ZooKeeper si zvykne na volby vedení pro makléře tematické rozdělení vůdců.

Kafkova Architektura: Jádro Kafka

Kafka potřebuje ZooKeeper

Kafka používá Zookeeper k volbě vedení Kafka Broker a téma Partition párů. Kafka používá Zookeeper ke správě zjišťování služeb pro Kafkovy makléře, kteří tvoří klastr. Zookeeper odesílá změny topologie do Kafky, takže každý uzel v klastru ví, kdy se připojil nový makléř, makléř zemřel, téma bylo odstraněno nebo bylo přidáno téma atd. Zookeeper poskytuje in-sync zobrazení konfigurace klastru Kafka.

Kafka producent, spotřebitel, podrobnosti o tématu

Kafka producenti píší na témata. Kafka četl z témat. Téma je spojeno s protokolem, který je datovou strukturou na disku. Kafka připojí záznamy od producenta(producentů) na konec tematického protokolu. Protokol témat se skládá z mnoha oddílů, které jsou rozloženy do více souborů, které lze rozšířit na více uzlů klastru Kafka. Spotřebitelé čtou z Kafkových témat podle své kadence a mohou si vybrat, kde jsou (offset) v protokolu témat. Každá skupina spotřebitelů sleduje posun od místa, kde přestali číst. Kafka distribuuje tematické log oddíly na různých uzlech v klastru pro vysoký výkon s horizontální škálovatelností. Šíření oddílů pomáhá při psaní dat rychle. Tematické log oddíly jsou Kafka způsob, jak shard čte a zapisuje do protokolu tématu. Také oddíly jsou potřebné k tomu, aby více spotřebitelů ve skupině spotřebitelů pracovalo současně. Kafka replikuje oddíly do mnoha uzlů, aby poskytla převzetí služeb při selhání.

Kafka Architecture: téma Partition, Consumer group, Offset a producenti

Kafkova stupnice a rychlost

jak může Kafka měřítko, pokud více producentů a spotřebitelů čte a zapisuje do stejného protokolu tématu Kafka současně? První Kafka je rychlý, Kafka zapisuje do souborového systému postupně, což je rychlé. Na moderním rychlém disku může Kafka snadno zapisovat až 700 MB nebo více bajtů dat za sekundu. Kafka váhy píše a čte tím, že sharding téma protokoly do oddílů. Recall témata protokoly mohou být rozděleny do více oddílů, které mohou být uloženy na více různých serverech, a tyto servery mohou používat více disků.Více výrobců může psát na různé oddíly stejného tématu. Více spotřebitelů z více skupin spotřebitelů může efektivně číst z různých oddílů.

Kafka Brokers

Kafka cluster se skládá z několika Kafka Brokers. Každý makléř Kafka má jedinečné ID (číslo).Kafka makléři obsahují tematické log oddíly. Připojení k jednomu makléři bootstraps klienta do celého klastru Kafka.Pro převzetí služeb při selhání chcete začít s nejméně třemi až pěti makléři. Kafka cluster může mít v případě potřeby 10, 100 nebo 1 000 makléřů v klastru.

Kafka Cluster, Failover, ISRs

Kafka podporuje replikaci pro podporu failover. Připomeňme, že Kafka používá Zookeepro vytvoření Kafka Brokers do clusteru a každý uzel v Kafka clusteru se nazývá Kafka Broker.Tematické oddíly mohou být replikovány na více uzlech pro převzetí služeb při selhání. Témaby měl mít replikační faktor větší než 1 (2 nebo 3). Například, pokud běžíte v AWS, chtěli byste být schopni přežít jediný výpadek dostupnostizone.Pokud jeden Kafka Broker jde dolů, pak Kafka Broker, který je ISR (in-sync replika) může sloužit data.

Kafka Failover vs. Kafka Disaster Recovery

Kafka používá replikaci pro failover. Replikace oddílů protokolu tématu Kafkaumožňuje selhání rack nebo AWS availability zone (AZ). K přežití jediného selhání AZ potřebujete replikační faktor alespoň 3. Pro zotavení po katastrofě musíte použít Mirror Maker,nástroj Kafka, který je dodáván s jádrem Kafka. Mirror Makerreplikuje klastr Kafka na jiné datové centrum nebo oblast AWS.Říkají tomu, co Mirror Maker dělá zrcadlení, aby nebylo zaměňováno s replikací.

Všimněte si, že neexistuje žádné tvrdé a rychlé pravidlo o tom, jak musíte nastavit Kafka cluster per se.Můžete například nastavit celý cluster v jednom AZ, abyste mohli využít rozšířené sítě a skupiny umístění pro vyšší propustnost, a pak použít Mirror Makero zrcadlit cluster do jiného AZ ve stejné oblasti jako hot-standby.

Kafka Architektura: Kafka Zookeeper koordinace

Kafka témata Architektura

pokračujte ve čtení o architektuře Kafka. Další článek pojednává o architektuře Kafkových témat s diskusí o tom, jak jsou oddíly využívány pro fail-over a paralelní zpracování.

• co je Kafka?
• Kafka Architecture
• Kafka Topic Architecture
• Kafka Consumer Architecture
• Kafka Producer Architecture
• Kafka Architecture and low level design
• Kafka and Schema Registry
• Kafka and Avro
• Kafka Ecosystem
• Kafka vs. JMS
• Kafka versus Kinesis
• Kafka Tutorial: Použití Kafka z příkazového řádku
• Kafka Tutorial: Kafka Broker Failover a consumer Failover
• Kafka Tutorial
• Kafka Tutorial: psaní Kafka příklad výrobce v Javě
• Kafka Tutorial: psaní Kafka příklad spotřebitele v Javě
• Kafka Architektura: Log zhutnění
• Kafka Architektura: Low-Level PDF Slides

o Cloudurable

doufáme, že se vám tento článek líbil. Uveďte zpětnou vazbu.Cloudurable poskytuje školení Kafka, Kafka consulting, podporu Kafka a pomáhá při vytváření klastrů Kafka v AWS.

podívejte se na náš nový kurz GoLang. Poskytujeme školení go Lang na místě, které je vedeno instruktorem.

Tweet