Arquitetura Kafka

Tweet

se você não tem certeza do que é Kafka, veja o que é Kafka?.

Arquitetura Kafka

Kafka consiste em registros, tópicos, consumidores, produtores, corretores, Logs, partições e Clusters. Os registros podem ter chave (opcional), valor e carimbo de data / hora. Os registros Kafka são imutáveis. Um tópico Kafka é um fluxo de registros ("/orders", "/user-signups"). Você pode pensar em um tópico como um nome de feed. Um tópico tem um Log que é o armazenamento do tópico no disco. Um Log de tópicos é dividido em partições e segmentos. A API Kafka Producer é usada para produzir fluxos de registros de dados. A API do consumidor Kafka é usada para consumir um fluxo de registros do Kafka. Um Broker é um servidor Kafka que é executado em um Cluster Kafka. Corretores Kafka formam um cluster. O Cluster Kafka consiste em muitos corretores Kafka em muitos servidores. Broker às vezes se referem a mais de um sistema lógico ou como Kafka como um todo.

o Cloudurable fornece treinamento Kafka, consultoria Kafka, suporte Kafka e ajuda a configurar clusters Kafka na AWS.

Arquitetura Kafka: Tópicos, produtores e consumidores

Kafka usa ZooKeeper para gerenciar o cluster. ZooKeeper é usado para coordenar os corretores / cluster topologia. ZooKeeper é um sistema de arquivos consistente para informações de configuração. ZooKeeper é usado para Eleição de liderança para Líderes de partição de tópicos de corretores.

Arquitetura Kafka: Core Kafka

Kafka precisa ZooKeeper

Kafka usa Zookeeper para fazer a eleição de liderança de Kafka Broker e pares de partição de tópicos. O Kafka usa o Zookeeper para gerenciar a descoberta de Serviço para corretores do Kafka que formam o cluster. O Zookeeper envia alterações da topologia para o Kafka, para que cada nó no cluster saiba quando um novo corretor entrou, um corretor morreu, um tópico foi removido ou um tópico foi adicionado, etc. O Zookeeper fornece uma visualização em sincronia da configuração do Cluster Kafka.

produtor Kafka, consumidor, detalhes do tópico

produtores Kafka escrevem para tópicos. Os consumidores de Kafka leem de tópicos. Um tópico está associado a um log que é a estrutura de dados no disco. O Kafka adiciona registros de um(s) produtor (es) ao final de um log de tópicos. Um log de tópicos consiste em muitas partições que estão espalhadas por vários arquivos que podem ser espalhados em vários nós do cluster Kafka. Os consumidores lêem os tópicos do Kafka em sua cadência e podem escolher onde estão (compensados) no log de tópicos. Cada grupo de consumidores rastreia o deslocamento de onde parou de ler. O Kafka distribui partições de log de tópicos em diferentes nós em um cluster para alto desempenho com escalabilidade horizontal. Espalhar partições ajuda na gravação de dados rapidamente. As partições do log de tópicos são uma maneira Kafka de estilhaçar leituras e gravações no log de tópicos. Além disso, as partições são necessárias para que vários consumidores em um grupo de consumidores trabalhem ao mesmo tempo. Kafka Replica partições para muitos nós para fornecer failover.

Arquitetura Kafka: partição de tópicos, grupo de consumidores, compensação e produtores

Kafka Escala e Velocidade

Como Kafka escala se vários produtores e consumidores de leitura e escrita ao mesmo Kafka tópico de log ao mesmo tempo? Primeiro Kafka é rápido, Kafka escreve no sistema de arquivos sequencialmente, o que é rápido. Em uma unidade rápida moderna, o Kafka pode gravar facilmente até 700 MB ou mais bytes de dados por segundo. O Kafka scales escreve e lê descartando logs de tópicos em partições. Os logs podem ser divididos em várias partições que podem ser armazenadas em vários servidores diferentes, e esses servidores podem usar vários discos.Vários produtores podem gravar em diferentes partições do mesmo tópico. Vários consumidores de vários grupos de consumidores podem ler de diferentes partições de forma eficiente.

Kafka Brokers

um cluster Kafka é composto por vários corretores Kafka. Cada corretor Kafka tem um ID exclusivo (número).Os corretores Kafka contêm partições de log de tópicos. Conectando-se a um corretor inicializa um cliente para todo o cluster Kafka.Para failover, você deseja começar com pelo menos três a cinco corretores. Um cluster Kafka pode ter, 10, 100 ou 1.000 corretores em um cluster, se necessário.

Kafka Cluster, Failover, ISRs

Kafka suporta replicação para suportar failover. Lembre-se de que Kafka usa Zookeeperto para formar corretores Kafka em um cluster e cada nó no cluster Kafka é chamado de corretor Kafka.As partições de tópico podem ser replicadas em vários nós para failover. O tópicodeve ter um fator de replicação maior que 1 (2 ou 3). Por exemplo, se você estiver executando na AWS, você gostaria de ser capaz de sobreviver a uma única interrupção availabilityzone.Se um corretor Kafka cair, o corretor Kafka, que é um ISR (réplica em sincronia), pode servir dados.

Kafka Failover vs. Kafka Disaster Recovery

Kafka usa replicação para failover. Replicação de partições de log de tópicos do Kafka permite falha de um rack ou AWS availability zone (AZ). Você precisa de uma replicaçãofator de pelo menos 3 para sobreviver a uma única falha AZ. Você precisa usar o Mirror Maker, Um utilitário Kafka que vem com o Kafka core, para recuperação de desastres. O Mirror Makerreplicates a Kafka cluster to another data-center or AWS region.Eles chamam o que o Mirror Maker Faz de espelhamento para não ser confundido com replicação.

Nota não há nenhuma regra dura e rápida sobre como você tem que configurar o cluster Kafka per se.Você pode, por exemplo, configurar todo o cluster em um único AZ para que você possa usar grupos de rede e posicionamento aprimorados para maior rendimento e, em seguida, usar o Mirror Makerto espelhar o cluster para outro AZ na mesma região que um hot-standby.

Kafka Arquitetura: Kafka Tratador de Coordenação

Kafka Tópicos Arquitetura

por Favor, continue a ler sobre Kafka Arquitetura. O próximo artigo aborda tópicos Kafka Arquiteturacom uma discussão de como as partições são usadas para failover e processamento paralelo.

• o que é Kafka?
• Kafka Arquitetura
• Kafka Tópico Arquitetura
• Kafka Consumidor Arquitetura
• Kafka Produtor Arquitetura
• Kafka Arquitetura e baixo nível de design
• Kafka e de Registro de Esquema
• Kafka e Avro
• Kafka Ecossistema
• Kafka vs. JMS
• Kafka versus Kinesis
• Kafka Tutorial: Usando Kafka a partir da linha de comando
• Kafka Tutorial: Kafka Corretor de Failover e Consumidor de Failover
• Kafka Tutorial
• Kafka Tutorial: Escrever um Kafka Produtor de exemplo em Java
• Kafka Tutorial: Escrever um Kafka Consumidor exemplo em Java
• Kafka Arquitetura: Registo de Compactação
• Kafka Arquitetura: Baixo Nível de Slides em PDF

Sobre Cloudurable

esperamos que tenham gostado deste artigo. Por favor, forneça feedback.O Cloudurable fornece treinamento Kafka, consultoria Kafka, suporte Kafka e ajuda a configurar clusters Kafka na AWS.

confira nosso novo curso de GoLang. Nós fornecemos treinamento Go Lang no local, que é conduzido por instrutor.

Tweet