카프카 아키텍처

짹짹

당신은 카프카가 무엇인지 확실하지 않은 경우,카프카는 무엇을 참조하십시오?.

카프카 아키텍처

카프카는 레코드,주제,소비자,생산자,중개인,로그,파티션 및 클러스터로 구성됩니다. 레코드는 키(선택 사항),값 및 타임 스탬프를 가질 수 있습니다. 카프카 기록은 불변입니다. 카프카 주제는 레코드 스트림입니다("/orders", "/user-signups"). 주제를 피드 이름으로 생각할 수 있습니다. 토픽에는 토픽의 디스크에 저장되는 로그가 있습니다. 토픽 로그는 파티션 및 세그먼트로 나뉩니다. 이 패키지에는 주 프로그램 바이너리와 미리 컴파일된 대수 및 자동 로드 모듈이 전부 들어있습니다. 카프카 컨슈머 애피타이저는 카프카의 레코드 스트림을 소비하는 데 사용됩니다. 브로커는 카프카 클러스터에서 실행되는 카프카 서버입니다. 카프카 브로커는 클러스터를 형성합니다. 카프카 클러스터는 많은 서버에 많은 카프카 브로커로 구성됩니다. 브로커는 때때로 논리 시스템의 이상을 참조하거나 전체 카프카로.

클라우드터블은 카프카 교육,카프카 컨설팅,카프카 지원을 제공하고 카프카 클러스터를 구축할 수 있도록 지원합니다.

카프카 건축: 주제,생산자 및 소비자

카프카는 사육사를 사용하여 클러스터를 관리합니다. 사육사는 브로커/클러스터 토폴로지를 조정하는 데 사용됩니다. 사육사는 구성 정보에 대한 일관된 파일 시스템입니다. 사육사는 브로커 주제 파티션 리더를위한 리더십 선거에 사용됩니다.

카프카 건축: 코어 카프카

카프카는 사육사 필요

카프카는 사육사를 사용하여 카프카 브로커 및 토픽 파티션 쌍의 리더십 선거를 수행합니다. 카프카는 사육사를 사용하여 클러스터를 형성하는 카프카 브로커에 대한 서비스 검색을 관리합니다. 사육사는 토폴로지 변경 사항을 카프카로 전송하므로 클러스터의 각 노드는 새 브로커가 가입하거나 브로커가 사망하거나 주제가 제거되거나 주제가 추가되었을 때 알 수 있습니다. 사육사는 카프카 클러스터 구성의 동기화 뷰를 제공합니다.

카프카 생산자,소비자,주제 세부 사항

카프카 생산자는 주제에 쓰기. 카프카 소비자는 주제에서 읽습니다. 토픽은 디스크의 데이터 구조인 로그와 연결됩니다. 카프카는 프로듀서의 레코드를 토픽 로그의 끝에 추가합니다. 토픽 로그는 여러 카프카 클러스터 노드에 분산될 수 있는 여러 파일에 분산된 많은 파티션으로 구성됩니다. 소비자는 케이던스에서 카프카 주제에서 읽고 주제 로그에서(오프셋)위치를 선택할 수 있습니다. 각 소비자 그룹은 독서를 중단 한 곳에서 오프셋을 추적합니다. 카프카는 수평 확장성과 높은 성능을 위해 클러스터의 다른 노드에 토픽 로그 파티션을 배포합니다. 파티션을 분산하면 데이터를 빠르게 작성할 수 있습니다. 토픽 로그 파티션은 토픽 로그에 읽기 및 쓰기를 분할하는 카프카 방식입니다. 또한 소비자 그룹의 여러 소비자가 동시에 작업하려면 파티션이 필요합니다. 카프카는 장애 조치를 제공하기 위해 많은 노드에 파티션을 복제합니다.

카프카 아키텍처:주제 파티션,소비자 그룹,오프셋 및 생산자

카프카 규모와 속도

여러 생산자와 소비자가 동일한 카프카 주제 로그를 동시에 읽고 쓸 경우 카프카는 어떻게 확장 할 수 있습니까? 첫 번째 카프카는 빠르고,카프카는 빠른 파일 시스템에 순차적으로 씁니다. 현대 빠른 드라이브에,카프카는 쉽게 7 백메가바이트 이상의 데이터 바이트 초까지 쓸 수 있습니다. 카프카는 주제 로그를 파티션에 분할하여 쓰기 및 읽기를 조정합니다. 리콜 주제 로그는 여러 다른 서버에 저장할 수있는 여러 파티션으로 분할 할 수 있으며 해당 서버는 여러 디스크를 사용할 수 있습니다.여러 생산자는 동일한 주제의 다른 파티션에 쓸 수 있습니다. 여러 소비자 그룹의 여러 소비자가 서로 다른 파티션에서 효율적으로 읽을 수 있습니다.

카프카 브로커

카프카 클러스터는 여러 카프카 브로커로 구성됩니다. 각 카프카 브로커에는 고유 한 신분증(번호)이 있습니다.카프카 브로커에는 토픽 로그 파티션이 포함되어 있습니다. 하나의 브로커에 연결하면 클라이언트가 전체 카프카 클러스터에 부트스트랩됩니다.장애 조치의 경우 최소 3~5 개의 브로커로 시작하려고 합니다. 카프카 클러스터는 필요한 경우 클러스터에 10,100 또는 1,000 개의 브로커를 가질 수 있습니다.

복제를 지원하여 장애 조치를 지원합니다. 카프카는 카프카 브로커를 클러스터로 형성하고 카프카 클러스터의 각 노드를 카프카 브로커라고 부릅니다.항목 파티션은 장애 조치를 위해 여러 노드에 복제될 수 있습니다. 주제에는 1(2 또는 3)보다 큰 복제 계수가 있어야 합니다. 예를 들어,실행 중인 경우 단일 사용 가능 영역 중단을 살아남을 수 있어야 합니다.한 카프카 브로커가 다운되면 카프카 브로커(동기화 복제본)는 데이터를 제공 할 수 있습니다.

카프카 장애 조치 대 카프카 재해 복구

카프카는 장애 조치를 위해 복제를 사용합니다. 카프카 토픽 로그 파티션의 복제는 랙 또는 가용 영역의 오류를 허용합니다. 한 번의 실패에서 살아남으려면 최소 3 의 복제 인자가 필요합니다. 당신은 미러 메이커,카프카 유틸리티를 사용할 필요가 재해 복구를 위해,그 카프카 코어 선박. 미러 메이커는 카프카 클러스터를 다른 데이터 센터 또는 데이터 센터 영역으로 복제합니다.그들은 어떤 미러 메이커 복제와 혼동 하지 않는 미러링 전화.

참고 카프카 클러스터 자체를 설정하는 방법에 대한 어렵고 빠른 규칙은 없습니다.예를 들어,향상된 네트워킹 및 배치 그룹을 사용하여 처리량을 높일 수 있도록 전체 클러스터를 단일 대기 모드에서 설정할 수 있습니다.

카프카 건축:카프카 사육사 조정

카프카 토픽 아키텍처

카프카 아키텍처에 대해 계속 읽으십시오. 다음 문서에서는 파티션 장애 조치 및 병렬 처리에 사용 되는 방법에 대 한 논의와 함께 카프카 주제 아키텍처를 다룹니다.

• 카프카 란 무엇입니까?
• 카프카 아키텍처
• 카프카 토픽 아키텍처
• 카프카 컨슈머 아키텍처
• 카프카 프로듀서 아키텍처
• 카프카 아키텍처와 로우 레벨 디자인
• 카프카와 스키마 레지스트리
• 카프카와 아브로
• 카프카 생태계
• 카프카 대 키네시스
• 카프카 튜토리얼: 명령줄에서 카프카 사용
• 카프카 자습서:카프카 브로커 장애 조치 및 소비자 장애 조치
• 카프카 자습서
• 카프카 자습서:자바에서 카프카 프로듀서 예제 작성
• 카프카 자습서:자바에서 카프카 소비자 예제 작성
• 카프카 아키텍처:로그 압축
• 카프카 아키텍처:낮은 수준의 슬라이드

클라우드

에 대해이 문서를 즐겼다 바랍니다. 피드백을 제공하십시오.클라우드터블은 카프카 교육,카프카 컨설팅,카프카 지원을 제공하고 카프카 클러스터를 구축할 수 있도록 지원합니다.

우리의 새로운 골랑 코스를 확인하십시오. 우리는 강사 주도 현장 이동 랭 교육을 제공합니다.

트윗