🖇️

상태 모니터링 환경 구축

생성일

2022/09/24

태그

Spring

infra

linux

목차

도입 배경

지난 스프린트 때 서버가 다운됐는데 원인 파악이 바로 되지 않았습니다. 어떤 상태였는지도 잘 몰랐기때문에 우선 인스턴스를 중지시키고 재실행한 뒤 다행히 서버를 띄울 수 있었습니다. 앞으로 또 이런 일이 발생하지 않을 것이라는 확신할 수 없습니다. 이에 따라 소잃고 외양간 고치는 심정으로, 이러한 현상을 방지하고 서버의 상태를 지속적으로 확인하기 위해 모니터링 툴을 도입하기로 하였습니다.

모니터링 시스템 목적

안정적인 서비스를 위해서는 모니터링 시스템이 필수입니다. 모니터링 환경을 구축하면 서비스 기능이 정상적으로 작동하는지, 서버가 다운되지 않았는지 등을 모니터링하고 장애가 발생하면 이에 대해 인지하고 대처할 수 있습니다. 모니터링하는 대상은 여러 가지가 있을 수 있는데, 저희 모락 프로젝트에서는 서버의 상태와 성능을 모니터링하고, 앱 서버의 로그에 대한 모니터링 등 두 대상에 대해 모니터링을 진행하고자 합니다.

상태 모니터링

해당 서버의 상태가 어떤지 확인할 수 있습니다. 서버 상태에는 CPU, 메모리 이용률 또는 앱 서버의 DB 커넥션 상태, 생성되어있는 쓰레드 수, 요청 API 빈도 등이 있고 이와 같은 서버 상태의 메트릭을 확인하고 분석할 수 있습니다.

Spring Boot Actuator

•

Spring Boot의 모니터링과 관리를 위한 도구입니다. HTTP 또는 JMX로 엔드포인트를 설정하고 이 정보를 기반으로 서버의 상태를 모니터링 할 수 있습니다. 메트릭, 헬스 체크, DB 커넥션 상태 등 수집이 가능합니다. 

•

기능이 강력한 만큼 보안에도 신경을 써야합니다. 서버의 상태를 드러내기 때문입니다. 메모리, CPU 상태 뿐만 아니라 설정 파일의 절대 경로 등도 확인할 수 있어서 제한적으로 정보를 오픈해야합니다. 

Prometheus

•

이벤트 모니터링 및 경고에 사용되는 오픈 소스 툴입니다. 유연한 쿼리를 제공하고, HTTP 풀 모델을 사용하여 구축된 시계열 데이터베이스에 실시간(기본 15초)으로 메트릭을 기록하고 시각화가 가능합니다.

Grafana

•

시계열 데이터 시각화 오픈 소스 툴입니다. prometheus 로는 병렬적인 시각화가 힘들고 다양한 자료가 힘들어 grafana 를 함께 사용합니다. 여러 DB를 지원하고, 자유롭게 대시보드를 구성할 수 있는데 보통 템플릿을 활용합니다.

스프링부트 설정

먼저 앱 서버의 상태를 보여주기 위한 스프링부트 설정을 actuactor 와 prometheus 로 합니다.

의존성 추가

implementation 'org.springframework.boot:spring-boot-starter-actuator'
implementation 'io.micrometer:micrometer-registry-prometheus'
Groovy
복사

스프링부트에서 사용할 수 있도록 의존성을 추가해줍니다.

property 설정

management:
  endpoints:
    web:
      exposure:
        include: "prometheus"
	endpoints:
		health:
    show-details: always
	metrics:
    tags:
      application: ${spring.application.name}
YAML
복사

•

management.endpoints.web.exposure.include

◦

actuator API 에서 보여 줄 데이터의 카테고리를 지정합니다.

◦

* 로 설정하면 서버의 모든 상태를 보여줄 수 있기때문에 매우 위험합니다.

include 를 * 로 했을 때

◦

위와 같이 각각의 정보가 담긴 모든 API 를 오픈합니다.

•

management.metrics.tags.application

◦

이후 prometheus 에서 구분할 application 의 이름을 정합니다.

이외에도 authorization 등 다양한 설정이 많지만, 현재 WAS 서버는 private IP 로만 접근이 가능하기때문에 위와 같이 설정만 해도 보안상 문제가 없습니다.

인프라 설계

저희는 AWS 의 t4g.micro 를 이용해야 하는 서버 리소스 제한이 있었습니다. 해당 인스턴스는 1GB 메모리를 가지기때문에 WAS, prometheus, grafana 를 모두 하나의 서버에 띄우기는 힘들었습니다. 그렇다고 WAS, prometheus, grafana 를 각각의 인스턴스로 띄우는 것도 불가능했습니다. 그 이유로, 허용된 인바운드 규칙이 8080과 8081 포트밖에 없었기 때문입니다. 이에 따라 이후 로그 모니터링 서버까지 고려하여 설계한 상태 모니터링 인스턴스 구조는 다음과 같습니다.

•

WAS는 테스트용 8081 포트로 실행하였습니다. 해당 포트는 인바운드 규칙에 위배되지 않아 actuator 를 해당 포트로 이용하기로 하였습니다.

•

prometheus 는 8080 으로 실행하였습니다. 현재는 서버가 잘 동작하는지 확인하기 위해 8080 으로 실행하였고, 추후 로그 모니터링때 포트를 바꿀 예정입니다.

•

grafana 는 시각화 툴이기때문에, 확인용 이외에도 지속적으로 접속이 가능해야 합니다. 이에 따라 8081 포트로 실행시켜 인바운드 규칙에 위배되지 않게 사용할 수 있도록 하였습니다.

Prometheus 설치

모니터링 서버를 띄울 인스턴스로 접속하여 prometheus 를 설치하고 서버를 실행합니다.

wget https://github.com/prometheus/prometheus/releases/download/v2.37.1/prometheus-2.37.1.linux-arm64.tar.gz

tar -xvf prometheus-2.37.1.linux-arm64.tar.gz
Shell
복사

wget 명령어는 web-get 의 줄임말이고, web 에서 다운로드 할 때 사용되는 명령어입니다.

2022-09-23 기준 LTS 버전인 2.37.1 버전의 리눅스 arm64 버전을 다운받았습니다. 당연한 말이지만, 인스턴스의 OS 버전에 맞게 잘 다운로드해야 실행이 가능합니다. 처음에는 아무 생각없이 freebsd 버전을 다운 받았다가 고생했습니다. 다운로드한 파일을 tar 명령어로 압축을 풀어주면 prometheus-2.37.1.linux-arm64 라는 다운로드한 버전 이름의 폴더가 생성됩니다.

Prometheus 설정

압축을 푼 prometheus-2.37.1.linux-arm64 폴더에서 vi 명령어로 prometheus.yml 파일을 수정합니다.

global:
  scrape_interval: 15s 
  evaluation_interval: 15s

alerting:
  alertmanagers:
    - static_configs:
        - targets:

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:8080"]
  - job_name: "springboot"
    metrics_path: "/actuator/prometheus"
    static_configs:
      - targets: ["{WAS IP}:{WAS PORT}"]
YAML
복사

•

interval: 15s

◦

대상 서버에서 데이터를 가져올 시간 간격을 정의합니다. 기본값인 15초를 그대로 사용해 주었습니다.

•

alert 는 따로 사용하지 않기에, 빈 값으로 두었습니다.

•

job_name: prometheus(localhost:8080)

◦

prometheus 에서 자체적으로 데이터를 가져오는 job 입니다.

◦

해당 포트에서 prometheus 서버의 상태, 그래프 등을 확인할 수 있습니다.

◦

해당 페이지는 grafana 를 도입하면 사용할 일이 드물기때문에 이후에 기본값(9090)으로 변경할 예정입니다.

•

job_name: springboot

◦

WAS 의 actuator 에 있는 prometheus 의 정보를 얻기 위해 job 을 추가하였습니다.

◦

metrics_path 에는 데이터를 가져올 서버의 데이터가 있는 endpoint 를 설정합니다.

◦

target 에는 데이터를 가져올 서버의 IP 와 포트를 설정합니다.

Prometheus 실행

sudo nohup ./prometheus --web.listen-address=:8080 &
Shell
복사

nohup 명령어로 실행하여 백그라운드로 실행하였습니다. 이와 함께 포트를 설정하기 위해 --web.listen-address 옵션으로 8080을 설정하고 서버를 실행합니다.

서버를 실행한 후 해당 인스턴스의 8080 포트로 접속하면 다음과 같은 화면을 볼 수 있습니다. 현재는 prometheus 서버가 잘 실행되었는지 확인하기 위한 용도이고, 이후에 이 페이지는 사용하지 않을 예정입니다. status - targets 에서 target 으로 설정한 웹앱서버의 health 상태를 확인할 수 있습니다.

우측의 지구본 모양을 누르면 사용 가능한 쿼리들을 볼 수 있습니다. 간단하게 살아있는 쓰레드 개수 쿼리를 실행(Execute)하고 Graph 를 보면 시각화된 자료를 확인할 수 있습니다. 하지만 prometheus 에서는 위와 같이 단편적인 그래프 자료밖에 확인할 수 없습니다. 이에 따라 다양하고 세분화된 그래프를 위해 시각화 전용 툴인 Grafana 를 사용하고자 합니다.

Grafana 설치

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.1.5.linux-arm64.tar.gz
tar -zxvf grafana-enterprise-9.1.5.linux-arm64.tar.gz
Shell
복사

설치 방식은 위의 prometheus 와 유사합니다.

Grafana 설정

Grafana 역시 보안그룹때문에 기본 포트(3100) 대신 8081 포트로 변경했습니다. 다운받은 폴더의 conf/defaults.ini 파일에서 포트를 설정할 수 있습니다.

# The http port to use
http_port = 8081
Shell
복사

Grafana 실행

cd bin
sudo nohup ./grafana-server &
Shell
복사

grafana 역시 nohup 명령어로 실행하였습니다. 서버를 실행시킨 후 해당 인스턴스의 8081 포트로 접속합니다. 그러면 로그인 화면이 나오는데, 초기 아이디와 비밀번호는 admin/admin 입니다. 해당 정보는 설정 파일에서 변경할 수 있습니다.

접속을 하면 data source 를 추가할 수 있습니다. 앞서 설정한 prometheus 를 추가해줍니다.

URL 은 데이터를 받아올 url 을 기입합니다. 현재 prometheus 와 grafana 가 같은 인스턴스에 있고, prometheus 를 8080 포트로 실행하였기때문에 URL 에 localhost:8080 을 넣었습니다. 나머지는 기본으로 두고 save 하였습니다.

dashboard 로 시각화하기 위해 add a new panel 을 클릭합니다.

metric 에 제공되는 쿼리 중 원하는 쿼리를 클릭하고 run queries 를 누르면 그래프를 확인할 수 있습니다. Grafana 에서는 단순한 하나의 데이터를 그래프로 볼 수 있을 뿐만 아니라 여러 쿼리를 모아 다양하고 풍부한 시각적 자료를 확인할 수 있습니다. 그리고 사용자를 위해 여러 쿼리들을 다양한 시각 자료로 보여주는 템플릿도 제공합니다.

https://grafana.com/grafana/dashboards/11378-justai-system-monitor/

저희 모락은 위의 template 을 적용하였고, json 을 download 받아 import 하였습니다. json 이외에도, 해당 template 의 ID 를 clipboard 에 저장하고 Import via grafana.com 에서 id 를 붙여넣고 load 하면 import 가 가능합니다.

현재 Prometheus 와 Grafana 를 적용한 상태입니다.

해당 템플릿에서는 CPU, 메모리 사용율, JVM 메모리 사용 현황, 쓰레드 개수, 요청 API 빈도, DB 커넥션 개수 등을 자세하게 확인할 수 있습니다.

로그 모니터링 구축 내용은 다음 페이지에서 마저 진행하겠습니다.