24*365 장애 모니터링에 대해서(with AWS CloudWatch)

365일 24시간 장애 모니터링을 하지 않으면 즉각적인 대응이 불가할 것이라 생각한다.
어떤 식으로 기업에서는 이를 해결하는지 찾아보다가 AWS CloudWatch에 대해서 공부해 보게 되었다. 

전체적인 흐름은 아래와 같다.

CloudWatch에서 알람 발생 -> SNS 푸시 서비스 호출 -> Lambda 함수 트리거 -> Slack 채널로 알람전송

1. Slack

우선 Slack에서 새 워크스페이스를 생성하고 설정에서 web hook을 추가해준다.

web hook이 정상적으로 동작하는지 확인하기 위해 아래 예시 명령어를 복사하여 터미널에서 실행시킨다.
OK가 뜨면 정상적으로 설정된 것이다.

OK가 뜨면 그 뒤에 slack channel에 들어가면 아래와 같은 메시지가 나오는 것을 볼 수 있다.

이제 web hook은 정상적으로 설정되었다. 이제는 AWS를 건드릴 차례이다!

---

2. SNS 토픽 생성

CloudWatch와 같은 Publisher에게서 온 메시지를 lambda와 같은 서버리스 서비스에게 전달해 주는 역할을 한다.

Lambda에 대해서 추가적으로 말하자면, 서버리스 컴퓨팅 서비스를 제공하며 애플리케이션을 실행하기 위한 별도의 서버 셋업 없이 곧바로 코드를 실행해 주는 서비스이다.

아래와 같이 AWS에서 간단하게 주제 이름만 설정하면 추가가 된다.

 

---

3. Lambda 생성

블루프린트 사용을 체크하면 다른 사람들이 만들어놓은 slack 사례를 그대로 사용할 수 있다.

방금 만들어놓은 SNS를 연결한다.

그다음에는 환경 변수를 세팅해줘야 한다. slackChannel과 kmsEncryptedHookUrl을 추가해줘야 한다.
채널 같은 경우는 내가 만들어놓은 슬랙 채널 이름을 입력하면 되지만, kmsEncryptedHookUrl 같은 경우에는 아무나 내가 어떤 채널로 보내는지 알 수 없게 암호화를 해야 하는데 아직 암호화를 하지 않았기 때문에 임의의 값을 집어넣고 나중에 수정한다.

이제 람다를 생성하면 아래와 같은 화면을 볼 수 있다.

---

4. KMS (Key Management Service)

데이터를 암호화하는 데 사용되는 암호화 키인 Customer Master Key(CMKs)를 관리한다.

여기서는 Lambda 함수에서 Slack으로 메시지를 전송할 때 web hook을 암호화하는데 사용한다.

aws kms create-key --region ap-northeast-2

위 명령을 통해 key를 생성한다.

사용할 때 편하도록 별칭을 붙여준다.

aws kms create-alias --alias-name alias/test-kms-key --target-key-id {keyId} --region ap-northeast-2

 

이제 키를 이용하여 Slack URL을 암호화해야 한다.

Lambda Function 내에서 Hook Url을 Decryption 하는 코드가 아래와 같이 이미 존재하고 있을 것이다.

HOOK_URL = "https://" + boto3.client('kms').decrypt( CiphertextBlob=b64decode(ENCRYPTED_HOOK_URL), EncryptionContext={'LambdaFunctionName': os.environ['AWS_LAMBDA_FUNCTION_NAME']})['Plaintext'].decode('utf-8')

 

그리고 아무 Lambda Function에서나 암호화된 Web Hook Url을 복호화해서는 안되므로 key와 Lamda Function도 지정해 준다.

※ 주의: Web Hook Url에서 https:// 는 빼고 넣어야 함. (복호화 코드에 이미 https:// 가 포함되어 있기 때문)

아래 명령어는 aws version 2.X 기준입니다.

aws kms encrypt --key-id alias/{kms key alias} --plaintext fileb://<(echo "hooks.slack.com/~~~") --region ap-northeast-2 --encryption-context LamdaFunctionName={lambda function name}

 

해당 명령어를 입력하면 "CiphertextBlob", "KeyId"의 key를 가진 value들이 출력된다.

"CiphertextBlob"의 value를 Lambda 함수를 생성할 때 입력했던 kmsEncryptedHookUrl 환경변수의 값에 입력하여 수정한다.

"KeyId"의 value를 암호화 구성에서 고객 마스터 키 사용으로 변경하여 고객 마스터 키의 입력으로 넣는다.

 

이제 Lambda 함수에 KMS 키  Decrypt 권한을 추가해야한다.

먼저 KMS Decrypt 정책을 아래와 같이 JSON 형태로 추가한다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Stmt1443036478000",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt"
      ],
      "Resource": [
        "<kms key Id 입력>"
      ]
    }
  ]
}

그리고 나서 Lambda 함수에 자동 생성된 Role에 새로 생성한 정책을 연결해주면 된다.

 

5. Cloudwatch

경보 생성에서 먼저 지표를 선택해야한다.

나는 EC2의 CPU 사용량을 선택하였다.

그 뒤에 몇분마다 경보를 보낼지와 경계값들을 설정할 수 있다.

그 다음 이전에 생성해둔 SNS를 연결해준다. 이제 경보를 생성하면 CPU 사용량이 설정한 값이 넘으면 슬랙으로 알림이 오게 된다.