![]()
이번에 프로젝트에서 MSA를 적용하게 되면서 비동기 통신 작업을 위해 Kafka를 학습하였고 환경설정을 하게 되었다. 1. kafka, zookeeper Docker Compose로 설치 version: '3.8' services: zookeeper: image: wurstmeister/zookeeper container_name: zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka container_name: kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CREATE_..
![]()
나는 이번에 참여하는 프로젝트에서 Micro Service Architecture를 사용하기로 했기에 데이터 동기화 문제를 해결하기 위해 Kafka를 공부하게 되었다. Kafka의 탄생 배경 링크드인이라는 사이트가 급속도로 성장하게 되면서 시스템 유지 문제가 발생하였고 소스 애플리케이션과 데이터가 최종 적재되는 Target 애플리케이션과 연결하는 복잡성이 있었다. 위와 같이 시스템이 복잡해질수록 아래와 같은 End-to-End 시스템의 문제점이 발생한다. 데이터 전송 파이프라인이 기하급수적으로 복잡해짐 Src-to-Target 파이프라인 개수가 많아지면서 소스코드 및 버전 관리 이슈 발생 target app에 문제가 발생할 경우, Source app에도 영향을 줌 (높은 결합도) 다양한 ETL(Extra..
