모니터링환경 구축하기 with Spring Actuator, Micrometer, Prometheus, Grafana

1. 문제 상황

---

사용자 수가 많지 않지만 배포하려는 물리 서버 컴퓨터의 성능이 그닥 좋지 않기에 혹시나 잘못되면 어떡하나라는 걱정이 계속 있었고 CPU, 메모리, Thread Pool을 계속 모니터링 할 수 있는 방법이 없을까? 라고 생각하여 찾아보다가
Spring Actuator, Micrometer, Prometheus, Grafana와 같은 키워드를 알게되어 공부하고 구축하게 되었다.  

 

2. 문제 해결

---

✏️ Spring Actuator

Production을 운영환경에 배포할 때 Metric(지표), Trace(추적), Auditing(감사), 모니터링과 같은 필요한 기능을 매우 편리하게 사용할 수 있도록 해주는 라이브러리이다. 
Micrometer, Prometheus, Grafana를 매우 쉽게 연동할 수 있게 해준다.

implementation 'org.springframework.boot:spring-boot-starter-actuator'

Spring Actuator를 사용하면 어플리케이션 내부를 들여다 볼 수 있고, 일부분 로그와 같은 어플리케이션 작동 방법을 제어할 수 있다.

dependency를 추가하고 추가 설정을 해줘야 웹 환경에서 액츄에이터의 많은 기능을 볼 수 있게 된다.

# application.yml
management:
    endpoints:
      web:
        exposure:
           include: "*"

http://주소/actuator 를 실행하면 아래와 같은 많은 기능을 확인할 수 있는데, 이 기능을 각각 엔드포인트라고 한다.

{
    "_links": {
      "self": {
         "href": "http://localhost:8080/actuator",
         "templated": false
     },
     "beans": {
       "href": "http://localhost:8080/actuator/beans",
       "templated": false
      },
      "caches": {
        "href": "http://localhost:8080/actuator/caches",
        "templated": false
      },
      "caches-cache": {
        "href": "http://localhost:8080/actuator/caches/{cache}",
        "templated": true
      },
      "health-path": {
        "href": "http://localhost:8080/actuator/health/{*path}",
        "templated": true
      },
      "health": {
		"href": "http://localhost:8080/actuator/health",
    	"templated": false
       },
        "info": {
          "href": "http://localhost:8080/actuator/info",
          "templated": false
        },
        "conditions": {
          "href": "http://localhost:8080/actuator/conditions",
          "templated": false
        },
        "configprops-prefix": {
          "href": "http://localhost:8080/actuator/configprops/{prefix}",
          "templated": true
        },
        "configprops": {
          "href": "http://localhost:8080/actuator/configprops",
          "templated": false
        },
        "env": {
          "href": "http://localhost:8080/actuator/env",
          "templated": false
        },
        "env-toMatch": {
          "href": "http://localhost:8080/actuator/env/{toMatch}",
          "templated": true
        },
        "loggers": {
          "href": "http://localhost:8080/actuator/loggers",
          "templated": false
        },
        "loggers-name": {
          "href": "http://localhost:8080/actuator/loggers/{name}",
          "templated": true
        },
        "heapdump": {
          "href": "http://localhost:8080/actuator/heapdump",
          "templated": false
        },
        ..........etc

https://주소/actuator/health와 같이 접근하여 어플리케이션의 실행 정보를 볼 수도 있고
beans를 통해 Spring Bean 정보, httpexchanges를 통해 HTTP 호출 응답 정보를 볼 수도 있다.

Spring 공식 문서

https://docs.spring.io/spring-boot/docs/current/reference/html/actuator.html#actuator.endpoints 를 확인!

http://주소/actuator/metrics에 접근하면 여러 기본 Metric을 확인할 수 있다.
metrics 엔드포인트는 단순하게 /actuator/metrics/system.cpu.usage와 같은 구조로 접근할 수 있다.

Spring Actuator를 사용하면 아주 편리하지만 어플리케이션의 많은 내부 정보를 노출하게 되므로 외부망에서 접근하지 못하도록 하고 내부망에서만 접속하도록 하는것이 좋다. 

✏️ Micrometer

Micrometer에 대해서 설명하기 전에
먼저 어플리케이션을 모니터링 하기 위해 JMX 모니터링 툴을 사용하였다고 가정해보자!
그렇다면 어플리케이션에서는 JMX 방식에 맞춰 측정하고 데이터를 전달할 것이다.

하지만, 모니터링 툴을 갑자기 Prometheus로 변경한다면 어떻게 될까?

역시나 측정부터 다시 모두 Prometheus에 맞게 변경해야 할 것이다.

따라서 Micrometer라는 추상화된 표준을 이용하여 이 문제를 해결한다.

마치 JPA가 표준이고 Hibernate가 JPA의 구현체이듯 비슷한 느낌으로
micromer가 표준 측정방식이고 그것의 구현체인 Prometheus 구현체와 JMX 구현체가 존재하게 된다.

Micrometer 표준으로 측정된 값을 JMX나 Prometheus에 맞게 변환해서 전달하므로 중간에 모니터링 환경이 변경되더라도 문제가 발생하지 않는다.

Micrometer와 Actuator는 기본적으로 여러 Metric을 제공하지만 몇개만 살펴보자면
JVM, System, Application, jdbc, http, hikaricp, disk, tomcat과 같은 메트릭을 제공한다.

또한 사용자가 직접 메트릭을 정의할 수 있다.
나는 이를 이용해서 글 마지막 부분에서 설명하겠지만 특정 예약 또는 로그인 api가 서버에 호출이 들어온 순간부터 응답하기까지의 실행시간을 측정하고 호출 횟수를 측정하여 관리할 수 있는 메트릭을 추가하였다.

 

✏️ Prometheus

Micrometer가 지원하는 모니터링 툴은 대표적으로 Prometheus, CloudWatch, JMX, Elastic 등이 있지만 나는 Prometheus를 선택하였다.

처음 모니터링 환경을 도입하는 것이기에 무엇이 좋고 나쁘고를 비교하기보다 설치 용이성과 참고할 자료가 많은지에 무게를 두었다.

Prometheus는 단순하게 말하자면 Metric을 보관하기 위한 Database 라고 생각하면 쉽다.
과거나 현재의 이력을 함께 확인하기 위해서는 메트릭을 보관할 장소가 필요하기 때문이다.

따라서Prometheus는 Metric을 계속해서 전달받아 저장하고 필요할 때 꺼내쓸 수 있게 해주는 역할을 한다.

sum, count 등과 같은 연산을 할 수 있고
ex) count(http_server_request_seconds_count)

Counter, Guage 형태로 그래프를 출력할 수도 있다. 

Prometheus에서도 GUI로 확인할 수 있지만 대시보드 형태는 아니며 보기 힘들다 그래서 Grafana를 이용한다.

✏️ Grafana

Prometheus에 저장되어있는 Metric을 불러와 대시보드 GUI를 통해 사용자에게 편리하게 그래프나 소스를 제공한다.

직접 하나하나 다 추가할 수도 있지만

정말 좋은게 Grafana 사이트에 접속하여 공유 Dashboard를 검색해보면 Spring에 최적화된 대시보드들을 손쉽게 불러와 사용할 수 있다.

이미 만들어져있는 공유 대시보드를 불러와서 수정하거나 추가하여 사용한다면 시간을 절약할 수 있다.

https://grafana.com/grafana/dashboards/11378-justai-system-monitor/

Grafana를 이용한 대시보드

 

✏️ Custom Metric을 등록해보자

MeterRegistry는 마이크로미터 기능을 제공하는 핵심 컴포넌트이며, 스프링을 통해서 주입 받아 카운터, 게이지 등을 등록할 수 있다.
하지만 이미 스프링에서는 필요한 요소들을 AOP로 다 만들어져있으므로 AOP를 등록하여 사용하면 된다.
따라서 @Counted, @Timed 와 같이 측정하고자 하는 요소에 어노테이션을 붙여주면 Metric이 측정된다.

Counter의 경우 일정하게 증가하는 누적 측정을 할 때 사용한다. ex) HTTP 요청수

@Counted("example.reserve")
public Response reserve(...) {
	...
}

와 같이 어노테이션 내에 Metric의 이름으로 사용할 문자열을 넣어 사용할 수 있다.

Timer의 경우 실행 시간을 측정하는 경우 사용되며 실행 횟수, 총 실행시간, 최대 실행 시간 3가지 메트릭을 측정할 수 있다.
총 실행시간과 총 실행시간을 나누면 평균 실행시간을 구할 수 있듯이 기존 메트릭을 활용하여 새로운 데이터를 얻을 수도 있다.

@Timed("example.login")
public Response login(...) {
	...
}

 

이렇게 모니터링 환경을 구축하는 방법을 간략하게나마 공부하였고 현재 필요하다고 생각하는 것 위주로만 공부하여 실제 구축하게 되었다.