🖇️

로그 모니터링 환경 구축

생성일

2022/09/27

태그

infra

linux

해당 페이지는 상태 모니터링 환경 구축 포스팅에 이어 작성되었습니다.

목차

로그 모니터링

프로젝트를 진행하면서 초기에는 슬랙을 이용하여 서버의 에러 로그를 받았습니다. 그리고 에러가 발생하면 슬랙으로 우선 어떤 에러인지 확인을 한 뒤, 해당 서버에 접속하여 쌓인 로그를 확인하고 에러를 픽스하는 과정을 거쳤습니다. 하지만 슬랙으로 로그를 받는 구조는 에러에 대한 추이를 확인할 수 없었습니다. 그리고 실제 로그를 확인하고 이상 현상을 파악하기 위해 서버에 직접 접속해야 했지만 이는 인바운드 규칙때문에 규칙이 적용되지 않은 IP 로는 접속이 불가능했습니다. 그래서 집에서는 해당 서버로 들어갈 수가 없어 캠퍼스를 나오면 에러가 터지지 않기를 기도해야 했습니다. 이와 같은 문제점을 해결하고자 로그 모니터링 환경을 구축하였습니다.

Promtail

•

앱 서버로부터 쌓은 로그를 Loki 로 전송해줍니다. 이에 따라 WAS 서버에서 구동되어 해당 서버의 로그를 Loki 서버로 전송할 수 있습니다.

Loki

•

로그를 저장하고 시계열 자료로 집계해주는 오픈 소스 툴입니다. Promtail 로부터 로그를 받고 데이터 형태에 맞게 처리합니다.

전체적인 구조는 다음과 같습니다.

먼저 앱 서버에서 로그를 생산하면 Promtail 에서 Loki 서버로 로그를 전달합니다.

Loki 서버에서는 Promtail 로부터 받은 로그를 인덱싱하여 저장합니다.

이후 Grafana 에서 Loki 에 저장된 로그를 조회하고 시각화합니다.

인프라 설계

지난 상태 모니터링할 때와 같이 인바운드 규칙과 리소스의 제한때문에 가장 효율적으로 사용할 수 있는 인스턴스와 서버 구동을 구상해야 했습니다.

두 개의 인스턴스로 구성하였습니다.

Prometheus 에서 사용하던 8080 포트를 Loki 로 넘겨주고 Prometheus 는 기본 포트인 9090 포트로 변경하였습니다. 이에 따라 Grafana 에서 사용하던 Datasource URL 도 함께 변경해 주었습니다.

Promtail 서버는 인바운드로 확인할 정보가 크게 없습니다. 그래서 굳이 인바운드 규칙이 적용된 8080, 8081 포트로 실행시킬 필요없이 기본 포트인 9080 으로 실행시켜 주었습니다.

Loki 서버는 Promtail 서버로부터 로그를 수집해야합니다. 이에 따라 인바운드 규칙이 적용된 8080, 8081 서버로 실행시켜야했고, 그 중 8080 포트로 실행시켜 주었습니다.

Loki 설치

wget https://github.com/grafana/loki/releases/download/v2.6.1/loki-linux-arm64.zip
unzip loki-linux-arm64.zip
Shell
복사

2022-10-03 기준 LTS 버전인 2.6.1 버전의 리눅스 arm64 버전을 다운받았습니다. Prometheus 와는 다르게 zip 파일로 다운받았습니다. tar 파일은 소스 코드만 있어, 실행을 시킬 수가 없었습니다. unzip 은 기본 명령어가 아니기때문에 없다면 압축 전 해당 명령어를 설치해야 합니다.

wget https://raw.githubusercontent.com/grafana/loki/v2.6.1/cmd/loki/loki-local-config.yaml
Shell
복사

앞서 설치한 파일은 실행 파일이기때문에, 설정 파일도 따로 다운받아야 합니다. 다운받은 설정 파일에서는 설계한대로 8080 포트로 바꾸기 위해 server.http_listen_port 부분을 변경하였습니다.

Loki 실행

sudo nohup ./loki-linux-arm64 -config.file=loki-local-config.yaml &
Shell
복사

여러 서버를 띄우기 위해서는 nohup 명령어를 이용하여 백그라운드로 실행시킬 수 있습니다.

curl http://localhost:8080/ready 또는 웹 접근으로 정상적으로 실행된 것을 확인할 수 있습니다.

만약 failed parsing config: loki-local-config.yaml: yaml: unmarshal errors 에러가 발생한다면 설정 파일을 잘못 다운받아서 발생한 에러입니다. 해당 에러는 버전이 들어가야 할 부분에 브랜치가 들어가 생긴 에러고 다운로드받는 설정 파일을 적절한 버전으로 바꾸어 다운받으면 해결할 수 있습니다.

Promtail 설치

스프링이 실행되고 있는 앱 서버로 접속하여 Promtail 을 설치하였습니다.

wget https://github.com/grafana/loki/releases/download/v2.6.1/promtail-linux-arm64.zip
unzip promtail-linux-arm64.zip

wget https://raw.githubusercontent.com/grafana/loki/v2.6.1/clients/cmd/promtail/promtail-local-config.yaml
Shell
복사

설치는 Loki 와 유사합니다. 마찬가지로 unzip 명령어가 없다면 apt install 로 추가해 주어야 합니다.

Promtail 설정

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://{Loki 서버 IP}:{Loki 서버 포트}/loki/api/v1/push

scrape_configs:
- job_name: was_warn
  static_configs:
  - targets:
      - localhost
    labels:
      jobs: was_warn_logs
      __path__: /home/ubuntu/logs/warn.log
- job_name: was_error
  static_configs:
  - targets:
      - localhost
    labels:
      jobs: was_error_logs
      __path__: /home/ubuntu/logs/error.log
YAML
복사

•

clients.url 부분을 loki 와 관련된 설정으로 변경하였습니다. 해당 url 은 promtail 에서 로그를 보낼 endpoint 입니다.

•

job 으로는 warn 과 error 로그 파일을 보냅니다. __path__ 로 보낼 파일을 지정할 수 있습니다.

Promtail 실행

sudo nohup ./promtail-linux-arm64 --config.file=promtail-local-config.yaml &
Shell
복사

마찬가지로 백그라운드 실행하려면 다음과 같이 nohup 명령어를 사용합니다.

Datasource 추가

모니터링 서버로 다시 접속 후 Grafana 페이지로 접속하여 Loki 의 Datasource 를 추가하겠습니다. 왼쪽 옵션 칸에서 톱니바퀴 모양 설정에서 datasource 를 추가할 수 있습니다. Logging & document databases 칸에서 Loki 를 찾을 수 있습니다.

Prometheus 를 추가할 때와 같이 URL 에 Loki 가 실행되고 있는 port 의 URL 을 입력 후 save & test 버튼으로 추가합니다.

이제 새로운 패널로 로그 정보를 확인하겠습니다. dashboards - new dashboard - add a panel 로 커스텀 시각화가 가능합니다.

Labels 로 인덱싱이 가능합니다. 이후 run queries 를 실행하면 로그 정보를 들고 올 수 있고, 우측의 visualization 에서 다양한 시각화 차트를 선택할 수도 있습니다.