Kafka Architektura

Tweet

jeśli nie jesteś pewien, co to jest Kafka, zobacz, co to jest Kafka?.

Architektura Kafki

Kafka składa się z rekordów, tematów, konsumentów, producentów, brokerów, dzienników, partycji i klastrów. Rekordy mogą mieć klucz (opcjonalnie), wartość i znacznik czasu. Płyty Kafki są niezmienne. Temat Kafki to strumień rekordów ("/orders", "/user-signups"). Możesz myśleć o temacie jako o nazwie kanału. Temat ma dziennik, który jest przechowywany na dysku. Dziennik tematyczny jest podzielony na partycje i segmenty. Kafka Producer API służy do tworzenia strumieni rekordów danych. Kafka Consumer API służy do konsumowania strumienia rekordów z Kafki. Broker to serwer Kafka, który działa w klastrze Kafki. Brokerzy Kafki tworzą klaster. Klaster Kafka składa się z wielu brokerów Kafki na wielu serwerach. Broker czasami odnosi się do bardziej logicznego systemu lub jako Kafka jako całości.

Cloudurable zapewnia Kafka training, Kafka consulting, Kafka support i pomaga w tworzeniu klastrów Kafka w AWS.

Kafka Architektura: Tematy, producenci i Konsumenci

Kafka używa Zookeepera do zarządzania klastrem. ZooKeeper służy do koordynowania topologii brokerów/klastrów. ZooKeeper jest spójnym systemem plików dla informacji konfiguracyjnych. ZooKeeper przyzwyczaja się do wyborów przywódczych dla liderów partycji tematycznych brokera.

Kafka Architektura: Core Kafka

Kafka potrzebuje Zookeepera

Kafka używa Zookeepera do wybierania par partycji Kafki brokera i Topic. Kafka używa Zookeeper do zarządzania wykrywaniem usług dla brokerów Kafka tworzących klaster. Zookeeper wysyła zmiany topologii do Kafki, więc każdy węzeł w klastrze wie, kiedy dołączył nowy broker, zmarł Broker, temat został usunięty lub Temat został dodany itp. Zookeeper zapewnia zsynchronizowany widok konfiguracji klastra Kafka.

Producent Kafki, konsument, szczegóły tematu

producenci Kafki piszą do tematów. Konsumenci Kafki czytają z tematów. Temat jest powiązany z logiem, który jest strukturą danych na dysku. Kafka dołącza rekordy od producenta (ów) do końca dziennika tematu. Dziennik tematyczny składa się z wielu partycji, które są rozłożone na wiele plików, które mogą być rozłożone na wielu węzłach klastra Kafka. Konsumenci czytają tematy z Kafki w swojej kadencji i mogą wybrać, gdzie są (offset) w dzienniku tematów. Każda grupa konsumentów śledzi przesunięcie od miejsca, w którym przerwała czytanie. Kafka rozprowadza partycje dziennika tematów na różnych węzłach w klastrze, aby uzyskać wysoką wydajność i skalowalność poziomą. Rozrzucanie partycji pomaga w szybkim zapisywaniu danych. Partycje dziennika tematu są sposobem na shard odczytów i zapisów do dziennika tematu. Ponadto partycje są potrzebne, aby mieć wielu konsumentów w grupie konsumentów pracujących w tym samym czasie. Kafka replikuje partycje do wielu węzłów, aby zapewnić przełączanie awaryjne.

Kafka Architecture: Topic Partition, Consumer group, Offset i producenci

Skala i szybkość Kafki

jak Kafka może skalować, jeśli wielu producentów i konsumentów czyta i pisze do tego samego dziennika tematycznego Kafki w tym samym czasie? Po pierwsze Kafka jest szybka, Kafka zapisuje do systemu plików sekwencyjnie, co jest szybkie. Na nowoczesnym szybkim dysku Kafka może z łatwością zapisywać do 700 MB lub więcej bajtów danych na sekundę. Kafka scales pisze i czyta przez sharding topic loguje się na partycje. Dzienniki tematów przypomnienia można podzielić na wiele partycji, które można przechowywać na wielu różnych serwerach, a te serwery mogą używać wielu dysków.Wielu producentów może pisać na różne partycje tego samego tematu. Wielu konsumentów z wielu grup konsumentów może efektywnie czytać z różnych partycji.

Kafka Brokers

klaster Kafka składa się z wielu brokerów Kafka. Każdy Broker Kafka ma unikalny identyfikator (numer).Kafka Brokers zawiera partycje dziennika tematu. Łączenie się z jednym brokerem bootstraps klienta do całego klastra Kafka.W przypadku przełączania awaryjnego chcesz zacząć od co najmniej trzech do pięciu brokerów. Klaster Kafka może mieć, 10, 100 lub 1000 brokerów w klastrze, jeśli to konieczne.

Kafka cluster, Failover, ISRs

Kafka obsługuje replikację do obsługi failover. Przypomnijmy, że Kafka używa Zookeepertoformować Kafka brokerów w klastrze i każdy węzeł w klastrze Kafka nazywa się Kafka Broker.Partycje tematu mogą być replikowane na wielu węzłach w celu przełączania awaryjnego. Temat powinien mieć współczynnik replikacji większy niż 1 (2 lub 3). Na przykład, jeśli używasz AWS, chcesz być w stanie przetrwać jedną awarię dostępności.Jeśli jeden Broker Kafka upadnie, to broker Kafka, który jest repliką ISR (in-sync replica), może obsługiwać dane.

Kafka Failover vs. Kafka Disaster Recovery

Kafka używa replikacji do przełączania awaryjnego. Replikacja partycji dziennika tematu Kafkiw przypadku awarii rack lub AWS availability zone (AZ). Potrzebujesz replikacji co najmniej 3, aby przetrwać pojedynczą awarię AZ. Musisz użyć Mirror Maker, Narzędzia Kafka dostarczanego z rdzeniem Kafka, do odzyskiwania po awarii. Mirror Makerplikuje klaster Kafka do innego centrum danych lub regionu AWS.Nazywają to, co Mirror Maker robi mirroring, aby nie mylić z replikacją.

uwaga nie ma twardej i szybkiej reguły, jak należy skonfigurować klaster Kafka per se.Można na przykład skonfigurować cały klaster w jednym AZ, aby można było używać rozszerzonych grup sieciowych i rozmieszczania w celu zwiększenia przepustowości, a następnie użyć Mirror Maker, aby odzwierciedlić klaster w innym AZ w tym samym regionie, co tryb hot-standby.

Kafka Architecture: Kafka Zookeeper Coordination

Kafka Topics Architektura

proszę kontynuować czytanie o Kafka Architektura. Następny artykuł dotyczy architektury Kafki z omówieniem sposobu użycia partycji do przełączania awaryjnego i przetwarzania równoległego.

• Co To jest Kafka?
• Kafka Architektura
• Kafka temat architektura
• Kafka Architektura konsumencka
• Kafka Architektura producenta
• Kafka Architektura i projektowanie niskopoziomowe
• Kafka i rejestr schematów
• Kafka i Avro
• Kafka vs. JMS
• Kafka vs. Kinesis
• Kafka Tutorial: Korzystanie z Kafki z wiersza poleceń
• Kafka Tutorial: przełączanie awaryjne brokera Kafki i przełączanie awaryjne konsumenta
• Kafka Tutorial
• Kafka Tutorial: pisanie przykładu producenta Kafki w Javie
• Kafka Tutorial: pisanie przykładu producenta Kafki w Javie
• Architektura Kafki: zagęszczanie dziennika
• architektura Kafki: niskopoziomowe slajdy PDF

o Cloudulable

mamy nadzieję, że podobał Ci się ten artykuł. Proszę o informację zwrotną.Cloudurable zapewnia Kafka training, Kafka consulting, Kafka support i pomaga w tworzeniu klastrów Kafka w AWS.

sprawdź nasz nowy kurs GoLang. Zapewniamy szkolenie Go Lang na miejscu, które jest prowadzone przez instruktora.

Tweet