🛳 DevOps/🚝 Kafka

이번에 프로젝트에서 MSA를 적용하게 되면서 비동기 통신 작업을 위해 Kafka를 학습하였고 환경설정을 하게 되었다. 1. kafka, zookeeper Docker Compose로 설치 version: '3.8' services: zookeeper: image: wurstmeister/zookeeper container_name: zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka container_name: kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CREATE_..

In-Sync-Replicas(ISR) 리더와 Sync(동기)가 맞고있는(복사가 잘 수행하고 있는) 모든 Replicas의 목록 하나의 브로커에만 Partition Leader들이 몰려있다면 Hot Spot 문제가 발생한다. 따라서, Leader 장애 시 Leader를 선출하는데 사용 replica.lag.max.messages: Follower와 Leader간의 메시지 차이 (follower가 복사를 잘 수행하고 있는지 판단하는 지표) 상위버전에서는 현재 deprecated 라고 한다. Fully-Replicated Commited의 Commit은 Consumer의 Commit과 다름 Follower가 복제했음을 의미 consumer는 hign water mark가 표시된 데이터까지만 읽을 수 있음 r..

나는 이번에 참여하는 프로젝트에서 Micro Service Architecture를 사용하기로 했기에 데이터 동기화 문제를 해결하기 위해 Kafka를 공부하게 되었다. Kafka의 탄생 배경 링크드인이라는 사이트가 급속도로 성장하게 되면서 시스템 유지 문제가 발생하였고 소스 애플리케이션과 데이터가 최종 적재되는 Target 애플리케이션과 연결하는 복잡성이 있었다. 위와 같이 시스템이 복잡해질수록 아래와 같은 End-to-End 시스템의 문제점이 발생한다. 데이터 전송 파이프라인이 기하급수적으로 복잡해짐 Src-to-Target 파이프라인 개수가 많아지면서 소스코드 및 버전 관리 이슈 발생 target app에 문제가 발생할 경우, Source app에도 영향을 줌 (높은 결합도) 다양한 ETL(Extra..