기억의 파편들

카프카 기본 구조 정리

카프카카프카는 링크드인 에서 만들어진 고성능 분산 이벤트 스트리밍 플랫폼` 도입이전파편화된 데이터 수집 및 분배 아키텍처를 운영하는데 큰 어려움을 겪음타킷 애플리케이션 장애 발생시 소스 애플리케이션에 직접적으로 영향을 줌카프카 등장 도입후카프카를 중앙 배치함으로써 소스/타킷 애플리케이션 간 의존도 완화기존 1:1 매칭 파이프라인의 의존도 타파구성요소주키퍼카프카의 메타데이터 관리, 브로커의 health check 담당 카프카 또는 카프카 클러스터아파치 프로젝트 애플리케이션으로 여러대의 브로커를 구성한 클러스터를 의미 브로커카프카 애플리케이션이 설치된 서버 또는 노드 프로듀서카프카로 메시지를 pub 하는 클라이언트 컨슈머카프카로부터 메시지를 consume 하는 클라이언트 토픽카프카는 메시지 피드를 토픽으로 ..