Kafka Architecture

Tweet

ha nem biztos benne, mi a Kafka, nézze meg mi a Kafka?.

Kafka Architecture

a Kafka rekordokból, témákból, fogyasztókból, gyártókból, brókerekből, naplókból, partíciókból és klaszterekből áll. A rekordok lehetnek kulcs (opcionális), érték és időbélyeg. A Kafka rekordok megváltoztathatatlanok. A Kafka téma a rekordok folyama("/orders", "/user-signups"). Gondolhat egy témára, mint egy hírcsatorna nevére. A témának van egy naplója, amely a téma tárolása a lemezen. A Témanapló partíciókra és szegmensekre oszlik. A Kafka Producer API-t adatrekordok adatfolyamainak előállítására használják. A Kafka Consumer API a Kafka rekordfolyamának fogyasztására szolgál. A bróker egy Kafka szerver, amely egy Kafka klaszterben fut. A Kafka brókerek klasztert alkotnak. A Kafka klaszter sok Kafka brókerből áll, sok szerveren. A bróker néha inkább logikai rendszerre vagy Kafka egészére utal.

a Cloudurable Kafka képzést, Kafka tanácsadást, Kafka támogatást nyújt, és segít a Kafka klaszterek létrehozásában az AWS – ben.

Kafka Építészet: Témák, termelők és fogyasztók

Kafka a ZooKeeper segítségével kezeli a klasztert. ZooKeeper használják, hogy koordinálja a brókerek / klaszter topológia. ZooKeeper egy következetes fájlrendszer konfigurációs információkat. ZooKeeper megszokja vezetői választás bróker téma partíció vezetők.

Kafka Architecture: Core Kafka

Kafka needs ZooKeeper

Kafka a Zookeeper-t használja a Kafka bróker és téma partíció Párok vezetői megválasztására. A Kafka a Zookeeper segítségével kezeli a klasztert alkotó Kafka brókerek szolgáltatásfelfedezését. A Zookeeper elküldi a topológia változásait a Kafka-nak, így a klaszter minden csomópontja tudja, mikor csatlakozott egy új bróker, egy bróker meghalt, egy témát eltávolítottak vagy egy témát hozzáadtak stb. Zookeeper egy szinkron nézetben Kafka klaszter konfiguráció.

Kafka Producer, fogyasztó, téma részletek

a Kafka producerek témákat írnak. A Kafka fogyasztói témákból olvasnak. A téma egy naplóhoz van társítva, amely a lemez adatszerkezete. Kafka hozzáfűzi a producer(K) rekordjait a témanapló végéhez. A témanapló sok partícióból áll, amelyek több fájlra vannak elosztva, amelyek több Kafka fürt csomóponton is elterjedhetnek. A fogyasztók a Kafka témáiból a saját ütemükben olvasnak, és kiválaszthatják, hogy hol vannak (eltolás) a témanaplóban. Minden fogyasztói csoport eltolódik onnan, ahol abbahagyták az olvasást. A Kafka témanapló partíciókat terjeszt egy fürt különböző csomópontjain a nagy teljesítmény érdekében, vízszintes skálázhatóság mellett. A partíciók terjesztése elősegíti az adatok gyors írását. Téma log partíciók Kafka módon szilánk olvas és ír a téma log. Ezenkívül partíciókra van szükség ahhoz, hogy egy fogyasztói csoportban egyszerre több fogyasztó működjön. A Kafka sok csomópontra replikálja a partíciókat a feladatátvétel biztosítása érdekében.

Kafka építészet: téma partíció, fogyasztói csoport, ofszet és gyártók

Kafka Scale and Speed

hogyan skálázható a Kafka, ha egyszerre több gyártó és fogyasztó is olvas és ír egy Kafka témanaplóba? Először a Kafka gyors, a Kafka egymás után ír a fájlrendszerbe, ami gyors. Egy modern gyors meghajtón a Kafka másodpercenként akár 700 MB vagy annál több bájt adatot is képes írni. A Kafka skálázza az írást és az olvasást úgy, hogy a témakör naplókat partíciókba osztja. A visszahívási témák naplói több partícióra oszthatók, amelyek több különböző kiszolgálón tárolhatók, és ezek a kiszolgálók több lemezt is használhatnak.Több gyártó írhat ugyanazon téma különböző partícióira. Több fogyasztói csoportból származó több fogyasztó hatékonyan tud olvasni a különböző partíciókról.

Kafka brókerek

a Kafka klaszter több Kafka brókerből áll. Minden Kafka bróker egyedi azonosítóval (számmal) rendelkezik.A Kafka brókerek témanapló partíciókat tartalmaznak. Az egyik Brókerhez való csatlakozás az Ügyfelet a teljes Kafka klaszterhez köti.A feladatátvételhez legalább három-öt brókerrel kell kezdeni. A Kafka klaszter lehet, 10, 100, vagy 1000 brókerek egy klaszter, ha szükséges.

Kafka fürt, feladatátvétel, ISRs

a Kafka támogatja a replikációt a feladatátvétel támogatásához. Emlékezzünk arra, hogy a Kafka a ZooKeeperto form Kafka brókereket egy klaszterbe használja, és a Kafka klaszter minden csomópontját Kafka brókernek hívják.A témakör partíciói több csomóponton replikálhatók a feladatátvételhez. A téma replikációs tényezőjének nagyobbnak kell lennie, mint 1 (2 vagy 3). Például, ha AWS-ben fut,akkor azt szeretné, hogy képes legyen túlélni egyetlen availabilityzone leállás.Ha egy Kafka bróker lemegy, akkor a Kafka bróker, amely egy ISR (in-sync replica)képes adatokat szolgáltatni.

Kafka Failover vs. Kafka Disaster Recovery

a Kafka replikációt használ a feladatátvételhez. A Kafka témanapló partícióinak replikációjalehetővé teszi a rack vagy az AWS elérhetőségi zóna (az) meghibásodását. Legalább 3 Replikációs tényezőre van szüksége, hogy túléljen egyetlen az-hibát. A katasztrófa utáni helyreállításhoz használnia kell a Mirror Makert,egy Kafka segédprogramot, amely Kafka maggal szállít. A Mirror Makerreplikálja a Kafka klasztert egy másik adatközpontba vagy AWS régióba.Azt hívják, amit a Mirror Maker tükröz, hogy nem tévesztendő össze a replikációval.

megjegyzés: nincs szigorú szabály arra vonatkozóan, hogy hogyan kell beállítani a Kafka klasztert önmagában.Például beállíthatja az egész fürtöt egyetlen AZ-ban, így a továbbfejlesztett hálózati és elhelyezési csoportokat használhatja a nagyobb áteresztőképesség érdekében, majd a Mirror Makerto segítségével tükrözheti a fürtöt egy másik AZ-RA ugyanabban a régióban, mint meleg készenléti állapotban.

Kafka építészet: Kafka Zookeeper koordináció

Kafka témák építészet

kérjük, folytassa az olvasást A Kafka építészetről. A következő cikk a Kafka architektúra témaköreit tárgyalja azzal a kérdéssel, hogy a partíciókat hogyan használják a fail-over és a párhuzamos feldolgozáshoz.

• mi az A Kafka?
• Kafka építészet
• Kafka téma építészet
• Kafka fogyasztói építészet
• Kafka gyártó építészet
• Kafka építészet és alacsony szintű tervezés
• Kafka és séma Registry
• Kafka és Avro
• Kafka ökoszisztéma
• Kafka vs. JMS
• Kafka kontra Kinesis
• Kafka bemutató: Kafka használata a parancssorból
• Kafka Tutorial: Kafka bróker feladatátvétel és fogyasztói feladatátvétel
• Kafka Tutorial
• Kafka Tutorial: írás egy Kafka gyártó példa Java
• Kafka Tutorial: írás egy Kafka fogyasztói példa Java
• Kafka Architecture: Log tömörítés
• Kafka építészet: alacsony szintű PDF diák

a Cloudurable-ról

reméljük, hogy tetszett ez a cikk. Kérjük, adjon visszajelzést.A Cloudurable Kafka képzést, Kafka tanácsadást, Kafka támogatást nyújt, és segít a Kafka klaszterek létrehozásában az AWS – ben.

nézze meg új GoLang tanfolyamunkat. Helyszíni Go Lang képzést biztosítunk, amelyet oktató vezet.

Tweet