![]()
1. yum update 및 aws 버전 확인 ec2-user 계정으로 접속(sudo su - ec2-user) sudo yum update -y 명령을 통해 yum을 업데이트 해준다. aws --version을 통해 1.18 버전 이상인지 확인한다. => 그래야 kubectl 명령이 동작하기 때문 2. EC2 Role 생성 후 Bastion EC2(NAT 인스턴스)에 부여 Role 생성이 완료되면 이제 EC2에 들어가서 IAM 역할을 수정해주면 된다. 3. Kubectl 설치 https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/install-kubectl.html kubectl 설치 또는 업데이트 - Amazon EKS Amazon EKS 클러스터 제어 영..
![]()
VPC (Virtual Private Cloud) 독립적인 가상의 네트워크 공간으로 사용자의 설정에 따라 자유롭게 구성할 수 있는 Space 서브넷 생성, 라우팅 테이블, 인터넷 게이트웨이 등을 구성하여 사용자가 원하는 대로 네트워크 환경을 구성 및 제어 사용가능 사설 IP 대역 (RFC 1918) 10.0.0.0 ~ 10.255.255.255 172.16.0.0 ~ 172.32.255.255 192.168.0.0 ~ 192.168.255.255 서브넷 서브넷은 VPC안에 더 많은 네트워크 망을 구성하기 위해 더 잘게 나누는 것이다. 라우트란? 네트워크 요청이 발생하면 데이터는 라우터로 향하게 되고 라우팅 테이블이라는 이정표를 따라 이동하며 요청이 처리된다. VPC에는 기본 Route Table이 존재하..
![]()
이번에 프로젝트에서 MSA를 적용하게 되면서 비동기 통신 작업을 위해 Kafka를 학습하였고 환경설정을 하게 되었다. 1. kafka, zookeeper Docker Compose로 설치 version: '3.8' services: zookeeper: image: wurstmeister/zookeeper container_name: zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka container_name: kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CREATE_..
![]()
In-Sync-Replicas(ISR) 리더와 Sync(동기)가 맞고있는(복사가 잘 수행하고 있는) 모든 Replicas의 목록 하나의 브로커에만 Partition Leader들이 몰려있다면 Hot Spot 문제가 발생한다. 따라서, Leader 장애 시 Leader를 선출하는데 사용 replica.lag.max.messages: Follower와 Leader간의 메시지 차이 (follower가 복사를 잘 수행하고 있는지 판단하는 지표) 상위버전에서는 현재 deprecated 라고 한다. Fully-Replicated Commited의 Commit은 Consumer의 Commit과 다름 Follower가 복제했음을 의미 consumer는 hign water mark가 표시된 데이터까지만 읽을 수 있음 r..
![]()
나는 이번에 참여하는 프로젝트에서 Micro Service Architecture를 사용하기로 했기에 데이터 동기화 문제를 해결하기 위해 Kafka를 공부하게 되었다. Kafka의 탄생 배경 링크드인이라는 사이트가 급속도로 성장하게 되면서 시스템 유지 문제가 발생하였고 소스 애플리케이션과 데이터가 최종 적재되는 Target 애플리케이션과 연결하는 복잡성이 있었다. 위와 같이 시스템이 복잡해질수록 아래와 같은 End-to-End 시스템의 문제점이 발생한다. 데이터 전송 파이프라인이 기하급수적으로 복잡해짐 Src-to-Target 파이프라인 개수가 많아지면서 소스코드 및 버전 관리 이슈 발생 target app에 문제가 발생할 경우, Source app에도 영향을 줌 (높은 결합도) 다양한 ETL(Extra..
