로그 수집을 위한 AWS EFK Stack 구축

로그 수집의 배경

쿠버네티스는 기본적으로 Pod가 정상상태가 아니라면 Pod를 kill하고 새로 생성한다.
하지만 운영자 입장에서는 Pod가 죽은 원인을 알아야 한다.

하지만, Pod가 죽으면 로그까지 같이 없어진다. (Pod 안의 임시 볼륨이 삭제됨)

따라서, 컨테이너가 살아있을 때 로그 저장소에 로그를 남겨놓아야 한다.

 

EFK Stack 구축을 통한 로그 수집

컨테이너 환경에서는 로그 수집을 위해 EFK Stack을 구축할 수 있다.

( EFK = ElasticSearch + Fluentd + Kibana )

• ElasticSearch: 대용량 로그 저장소로 이용
• Fluentd: 컨테이너의 스트림 로그를 수집하는 로그 수집기. (모든 노드마다 동일하게 배포해야함)
• Kibana: 로그 시각화 툴 (ElasticSearch와 연동하여 필요한 부분만 추출하여 로그 시각화)

컨테이너의 로그를 로그 저장소에 수집하기 위한 Stack

둘다 NodePort타입으로 배포해야 함.

 

1. ElasticSearch 배포

NodePort 타입으로 배포

텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 분산형 오픈 소스 검색 및 분석 엔진
많은 양의 데이터를 보관할 수 있고 분석할 수 있다.

두가지 설치 방법

1. ElasticSearch는 JVM 기반으로 동작하기 때문에 Java8을 세팅해둔 상태에서 설치한다.
2. ElasticSearch yaml 파일을 작성하면 kubectl apply 명령을 통해 간단하게 배포가능하다.

apiVersion: v1
kind: Service
metadata:
  labels:
    app: elasticsearch
  name: elasticsearch-svc
  namespace: default
spec:
  ports:
  - name: elasticsearch-rest
    nodePort: 30920   // Node의 Port
    port: 9200        // Service의 Port
    protocol: TCP
    targetPort: 9200  // Pod의 Port

과정

1. LoadBalancer의 Security group에서 9200번 포트를 Open ( 외부 인터넷에서 접근하기 위해)
     [EC2 -> 로드밸런서 -> Security에서 편집(type, Protocol: TCP / Port: 9200 / Socure: 본인 IP 또는 그룹]
2. LoadBalancer의 Listener 편집 -> 9200번 포트로 전달된 트래픽을 instance(WorkerNode)의 30920 포트로 전달
3. Worker Node로 전달된 트래픽은 9200 포트를 통해서 Service로 전달
      yaml파일의 Service 부분에 정의된 대로 9200 포트를 통해 서비스는 클러스 탕ㄴ에서 내부적으로 노출됨
4. 9200번 포트로 보내진 요청은 서비스에 의해 선택된 Pod의 9200 포트로 전달됨 

 

[ec2-user@ip-10-0-0-xxx ~]$ cat<<EOF > ~/elasticSearch.yaml
> apiVersion: apps/v1
> kind: Deployment
> metadata:
>   name: elasticsearch
>   labels:
>     app: elasticsearch
> spec:
>   replicas: 1
>   selector:
>     matchLabels:
>       app: elasticsearch
>   template:
>     metadata:
>       labels:
>         app: elasticsearch
>     spec:
>       containers:
>       - name: elasticsearch
>         image: elastic/elasticsearch:6.4.0
>         env:
>         - name: discovery.type
>           value: "single-node"
>         ports:
>         - containerPort: 9200
>         - containerPort: 9300
>
> ---
> apiVersion: v1
> kind: Service
> metadata:
>   labels:
>     app: elasticsearch
>   name: elasticsearch-svc
>   namespace: default
> spec:
>   ports:
>   - name: elasticsearch-rest
>     nodePort: 30920
>     port: 9200
>     protocol: TCP
>     targetPort: 9200
>   - name: elasticsearch-nodecom
>     nodePort: 30930
>     port: 9300
>     protocol: TCP
>     targetPort: 9300
>   selector:
>     app: elasticsearch
>   type: NodePort
> EOF

kubectl apply -f elasticSearch.yaml 을 입력하여 deployment, service를 생성한다.

1. kubectl get pod

 

2. kubectl get service

 

이후에 로드밸런서에 설정된 보안그룹에서 9200포트를 열어주면 된다.

 

또한 로드밸런서의 리스너 편집에 들어가서 TCP 9200번 포트 요청이 들어오면 인스턴스의 30920포트로 연결해주도록 한다.

 

이제 로드밸런서를 통해서 9200번 포트로 접근시 ElasticSearch로 연결된다.

 

2. Kibana 배포

NodePort 타입으로 배포

cat<<EOF > ~/kibana.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kibana
  labels:
    app: kibana
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kibana
  template:
    metadata:
      labels:
        app: kibana
    spec:
      containers:
      - name: kibana
        image: elastic/kibana:6.4.0
        env:
        - name: SERVER_NAME
          value: "kibana.kubenetes.example.com"
        - name: ELASTICSEARCH_URL
          value: "http://elasticsearch-svc.default.svc.cluster.local:9200"
        ports:
        - containerPort: 5601

---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: kibana
  name: kibana-svc
  namespace: default
spec:
  ports:
  - nodePort: 30561
    port: 5601
    protocol: TCP
    targetPort: 5601
  selector:
    app: kibana
  type: NodePort
EOF

kubectl apply -f kibana.yaml 명령 입력

 

로드밸런서에 설정된 보안그룹에서 5601포트를 열어주면 된다.

리스너 편집에서도 TCP 5601 포트로 요청이 들어오면 인스턴스의 30561 포트로 요청을 전달하도록 설정한다.

 

3. Fluentd 배포

로그 수집기로써, 다양한 데이터 소스(HTTP, TCP) 로부터 원하는 형태로 가공되어 ElasticSearch, S3와 같은 여러 목적지로 전달 가능하다.

Fluentd는 Daemonset을 통해 배포해야 한다는것이 특징이다.

Daemonset이란?

• 쿠버네티스 컨트롤러((Deployment, ReplicaSet 등) 중 하나이다. (컨트롤러: Pod를 생성하고 관리하는 역할)
• Pod가 각각의 노드에 하나씩만 배포되게 하는 Pod 관리 컨트롤러 (ex: 모든 노드에 한개씩 떠야 하는 경우에 사용 가능)
• 노드가 새로 생성되거나 삭제되어도 자동으로 Pod를 생성하고 삭제해줌.

cat<<EOF > ~/fluentd.yaml
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluentd
  namespace: kube-system

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: fluentd
  namespace: kube-system
rules:
- apiGroups:
  - ""
  resources:
  - pods
  - namespaces
  verbs:
  - get
  - list
  - watch

---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: fluentd
roleRef:
  kind: ClusterRole
  name: fluentd
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: fluentd
  namespace: kube-system

---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
  labels:
    k8s-app: fluentd-logging
    version: v1
    kubernetes.io/cluster-service: "true"
spec:
  selector:
    matchLabels:
      k8s-app: fluentd-logging
      version: v1
  template:
    metadata:
      labels:
        k8s-app: fluentd-logging
        version: v1
        kubernetes.io/cluster-service: "true"
    spec:
      serviceAccount: fluentd
      serviceAccountName: fluentd
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1.4.2-debian-elasticsearch-1.1
        env:
          - name:  FLUENT_ELASTICSEARCH_HOST
            value: "elasticsearch-svc.default.svc.cluster.local"
          - name:  FLUENT_ELASTICSEARCH_PORT
            value: "9200"
          - name: FLUENT_ELASTICSEARCH_SCHEME
            value: "http"
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      terminationGracePeriodSeconds: 30
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
EOF

kubectl apply -f fluentd.yaml 명령을 통해 배포하고
kubectl get pod -n kube-system | grep fluentd 명령을 통해 배포된 서비스 확인한다.

-n 옵션은 네임스페이스를 지정할 수 있는 옵션인데 fluentd에는 namespace를 통해 논리적으로 분리했으니 사용할 수 있다.

(1) 네임 스페이스 특정 조회, (2) 그냥 조회 (3) -A 옵션 조회

현재는 노드가 1개이기 때문에 fluentd Pod가 1개만 떴지만, 노드가 여러개라면 노드 개수에 맞춰서 Pod가 뜬다.

4. Kibana Index Pattern 생성

이제 Kibana의 웹을 통해 index pattern을 생성해준다.

보면 이미 logstash라는 이름으로 수집되고 있는 것을 볼 수 있으므로 나도 똑같이 logstash*으로 수집 패턴을 지정해준다.

 

 

 

---

kubectl 1.26 버전 설치시 오류 나면

aws-cli 버전을 업데이트해주기

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install