🛳 DevOps

이번에 프로젝트에서 MSA를 적용하게 되면서 비동기 통신 작업을 위해 Kafka를 학습하였고 환경설정을 하게 되었다. 1. kafka, zookeeper Docker Compose로 설치 version: '3.8' services: zookeeper: image: wurstmeister/zookeeper container_name: zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka container_name: kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CREATE_..

In-Sync-Replicas(ISR) 리더와 Sync(동기)가 맞고있는(복사가 잘 수행하고 있는) 모든 Replicas의 목록 하나의 브로커에만 Partition Leader들이 몰려있다면 Hot Spot 문제가 발생한다. 따라서, Leader 장애 시 Leader를 선출하는데 사용 replica.lag.max.messages: Follower와 Leader간의 메시지 차이 (follower가 복사를 잘 수행하고 있는지 판단하는 지표) 상위버전에서는 현재 deprecated 라고 한다. Fully-Replicated Commited의 Commit은 Consumer의 Commit과 다름 Follower가 복제했음을 의미 consumer는 hign water mark가 표시된 데이터까지만 읽을 수 있음 r..

나는 이번에 참여하는 프로젝트에서 Micro Service Architecture를 사용하기로 했기에 데이터 동기화 문제를 해결하기 위해 Kafka를 공부하게 되었다. Kafka의 탄생 배경 링크드인이라는 사이트가 급속도로 성장하게 되면서 시스템 유지 문제가 발생하였고 소스 애플리케이션과 데이터가 최종 적재되는 Target 애플리케이션과 연결하는 복잡성이 있었다. 위와 같이 시스템이 복잡해질수록 아래와 같은 End-to-End 시스템의 문제점이 발생한다. 데이터 전송 파이프라인이 기하급수적으로 복잡해짐 Src-to-Target 파이프라인 개수가 많아지면서 소스코드 및 버전 관리 이슈 발생 target app에 문제가 발생할 경우, Source app에도 영향을 줌 (높은 결합도) 다양한 ETL(Extra..

Docker Compose가 뭘까? 각각 하나씩 관리하던 컨테이너를 하나로 모아서 관리하기 위한 툴 (현재 내가 진행 중인 프로젝트에서 Spring 백엔드 서버, React 프론트 서버, MariaDB, Redis의 여러 컨테이너를 모아서 관리할 수 있었다.) 어떤 형식인지 간략하게 설명해줘 docker-compose.yml 파일을 작성하여 실행하면 한번에 이미지를 생성하고 실행할 수 있다. yml 형식에 대해서 조금만 말하자면 key-value 형식이며 int, boolean, String 타입을 지원한다. 리스트의 앞에는 들여쓰기들여 쓰기 후 - 를 붙이고, 리스트가 아닌 경우는 들여 쓰기로 구분한다. 이외에 |, |-, ---, > 등 다양한 기호가 있는데 나중에 따로 자세히 알아보자! versio..

Dockerfile이란? 도커에서 사용되는 이미지를 생성하기 위해 스크립트를 작성할 수 있는 텍스트 형식의 파일이다. 주요 명령어 Command Description FROM Base 이미지를 지정 (ex: Node 나 JDK 지정) LABEL Version, Writer와 같은 이미지 메타데이터를 작성 CMD 도커 컨테이너가 시작될 때 실행되는 shell 명령을 설정 RUN 이미지 작성시 실행되는 shell 명령 설정 및 새로운 이미지 layer를 만드는 역할 ENTRYPOINT 도커 컨테이너가 시작될 때 실행되는 shell 명령을 설정 CMD와는 다르게 docker run에서 부여되는 명령에 overrride가 되지 않고 실행됨 EXPOSE 도커 컨테이너 외부에 오픈할 Port 설정 ENV 도커 컨테..

1. docker run 명령 pull, create, start명령을 한번에 처리하며 타겟 이미지를 가져와서 커스텀 설정에 따라 컨테이너를 생성하여 실행하는 명령어 2. 옵션 Option Description -i 컨테이너에서 외부로 표준 입력( ex: STDIN )을 open. 내부 프로그램으로 입력을 전달하기 위해 -t 가상 터미널(tty)을 할당 -d 컨테이너를 백그라운드에서 실행 --name 컨테이너 이름 설정 =rm 컨테이너가 종료되면 자동으로 컨테이너를 삭제 -p Host와 컨테이너 포트를 연결 -v Host와 컨테이너 디렉토리를 연결 3. -it 자주 같이 쓰는 옵션 -i 옵션으로 도커 컨테이너에 외부로의 표준 입력을 open하고 -t 옵션으로 가상(psedo) tty를 만들어 표준 입력을..