💧

로드 밸런싱 with upstream

생성일

2022/11/13

태그

nginx

jenkins

infra

이 포스팅은 무중단 배포 포스팅에 이어서 작성되었습니다.

목차

WS 스크립트 설정

저희 프로젝트의 CI/CD 는 jenkins 를 이용하여 구축하였습니다. 이 과정에서 jenkins 는 WAS 서버의 배포 뿐만 아니라, WS 의 배포도 함께 진행합니다. WS 에는 프론트 팀원이 개발한 정적 페이지가 있고, 리버스 프록시를 위한 NginX 서버도 있습니다. 리버스 프록시 서버인 NginX는 앱 서버를 숨겨줄 뿐만 아니라 요청에 대한 로드 밸런싱 기능도 있어, 저희는 이 NginX 의 로드 밸런싱 기능을 이용하기로 하였습니다.

NGNIX 초기 설정

events {
	worker_connections 768;
}

http {
upstream morak {
                server {WAS1 IP}:8080 max_fails=1 fail_timeout=100s;
                server {WAS1 IP}:8081 max_fails=1 fail_timeout=100s;
                server {WAS2 IP}:8080 max_fails=1 fail_timeout=100s;
                server {WAS2 IP}:8081 max_fails=1 fail_timeout=100s;
        }

server {
	server_name mo-rak.com www.mo-rak.com;
	location /api {
 		proxy_pass http://morak;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_set_header Host $http_host;
		}
	}
}
Shell
복사

전체 스크립트는 https 관련 내용이 너무 길기도 하고 로드 밸런싱 기능을 설명하기에는 불필요하다고 생각하여 로드 밸런싱과 관련된 설정만 가져왔습니다.

가장 중요한 점은 default.conf 를 더 이상 사용하면 안된다는 것입니다. 기존에는 sites-available 디렉토리에 있는 default.conf 파일을 커스텀하여 사용하고 있었습니다. 해당 파일에는 nginx 구동을 위한 가장 기본적인 내용이 담겨 있고, https를 적용할 때까지는 사용할 수 있었습니다. 저희도 처음에는 이걸 모르고 default.conf 에서 http 옵션을 사용하고 실행하였는데 서버가 뜨지 않아 로그를 살펴보니 다음과 같은 에러가 발생했습니다.

nginx: [emerg] "http" directive is not allowed here in /etc/nginx/sites-available/default.conf
Bash
복사

로드 밸런싱을 위해 사용할 http, upstream 과 같은 부가적인 옵션은 default.conf 에서 지원하지 않는다고 합니다. 이에 따라 /etc/nginx 의 nginx.conf 파일을 사용하였습니다.

http 의 upstream 에서는 요청을 받을 서버의 목록을 지정할 수 있습니다. nginx 에서는 upstream 서버의 목록을 지정한 알고리즘에 맞게 요청을 분산시킵니다. 사용할 수 있는 알고리즘으로는 weighted-Round-Robin, hash, IP-hash, 최소 연결(least-connection), 최소 응답 시간(least-time) 등을 사용할 수 있고, 기본값은 weighted-Round-Robin 방식입니다. 저희 프로젝트에서는 가중치가 모두 같은 Round-Robin 방식을 사용하기로 하였고, 이유는 다음과 같습니다.

•

무중단 배포에 카나리아 방식을 사용하지 않아 굳이 사용자가 동일한 WAS 를 이용할 필요는 없다고 생각했습니다.

•

WAS 서버의 자원 상태는 동일하고 API 마다의 응답 속도의 차이가 극명하지 않기에 서버마다 균등하게 요청받는 방식이 적절하다고 생각했습니다.

설정할 수 있는 옵션은 다양한데, max_fails 와 fail_timeout 을 설정해 주었습니다. 목록에 넣은 4개의 서버 중 블루/그린 배포 방식으로 인해 2개는 항상 서버가 종료되어있는 상태입니다. 이 때 nginx 에서 종료되어있는 서버로 요청을 보낸 뒤 응답이 없으면 다음 서버로 해당 요청을 바로 보냅니다. 이러한 방식이 계속되면 100개의 요청 중 50개는 항상 종료되어있는 서버로 요청이 한 번씩은 전달되기때문에 비효율적이라고 판단했고, 설정한 max_fails 횟수를 넘을 시 fail_timeout 만큼 해당 서버로 요청을 보내지 않는다는 설정을 해주었습니다.

하지만 여기서 문제가 발생합니다. 배포가 진행되어 운영중인 포트가 바뀌었을 때, 100초의 시간제한이 걸려있다면 어떻게 될까요? 이를 그림으로 표현하면 다음과 같습니다.

C 시점 이후 97초 동안은 4개의 서버 모두 유배 중인 상황입니다. 이에 따라 WAS 는 8080 포트에서 실행되고 있는데, 100 초동안 아무 응답도 할 수 없는 상태에 빠집니다. 그렇다고 fail_timeout 시간을 줄이면, 앞서 언급한대로 블루 서버로 요청하는 빈도가 늘어나게 됩니다.

이에 따라 배포할 때마다 서버 목록에 새로운 버전이 실행된 서버들을 동적으로 할당하기로 하였습니다.

http {
	upstream morak {
                server ${service_url_1};
                server ${service_url_2};
	}
}
Bash
복사

하지만 여기서 또 예상치 못한 문제가 발생하였습니다. nginx 를 reload 할 때 ${service_url_1} 과 같이 인스턴스의 전역 변수를 이용하여 할당하고자 했는데, 해당 변수를 읽지 못하는 것이었습니다.

nginx: [emerg] unknown directive "service_url_1" in /etc/nginx/nginx.conf
Bash
복사

찾아보니 nginx 에서는 대부분의 블록 내에서 환경 변수 사용을 지원하지 않는다고 합니다. 이에 따라 여러 방법을 생각해 보았습니다.

•

서버 목록으로 각각 8080, 8081 이 있는 파일 두 개를 만들어 jenkins 에서 보내줄까?

◦

만약 포트의 순서가 맞지 않거나, 서버 에러로 순서가 엉키면 문제가 됩니다. 하드코딩의 문제점이 그대로 드러나게 됩니다.

•

그린 서버의 목록을 jenkins 에서 알고 있으니까 해당 부분만 동적으로 바꾸고, 기존의 nginx.conf 파일을 출력하고 입력하여 붙여볼까?

◦

동적으로 할당이 가능하긴 하지만, 해당 부분만 바꾸어 주면 되는데 다른 모든 부분까지 직접 출력하는 로직을 짜야 되기때문에 보류하였습니다.

이런 생각들을 하다가 envsubst 라는 리눅스 명령어를 알게 되었습니다. envsubst 는 지정한 파일의 환경변수를 대입하여 출력하는 명령어입니다. upstream 의 서버 목록만 환경 변수 포맷으로 표현된 템플릿 파일을 만들고, 그린 서버 목록을 환경 변수로 등록한 뒤 envsubst 명령어를 실행시켜 환경 변수를 등록하는 방식을 사용하기로 하였습니다.

문제 발생은 끝이 없습니다.. 거의 다 온거같은데 마지막 문제가 발생하였습니다. nginx 의 설정 파일에는 nginx 에서 사용하는 환경 변수가 있습니다. 대표적으로 location 블록 내부의 proxy_set_header X-Real-IP $remote_addr;가 있습니다. envsubst 에서 환경 변수를 찾을 때 $ 를 보고 찾는데, 해당 nginx 가 이용하는 환경 변수까지 모두 치환해버리기때문에 결과로 나온 파일에 해당 부분이 모두 공백으로 치환되어 있었습니다. 이를 해결하기 위해 $ 를 $로 치환할 수 있도록 방법을 생각했고 기존에 nginx 가 사용하는 환경 변수는 proxy_set_header X-Real-IP ${dollar}remote_addr; 로 바꿔주었습니다. 그리고 ${dollar} 는 환경 변수로 등록하여 dollar 는 $로 바뀌도록 설정하였습니다.

•

최종 nginx 설정 파일

http {

	upstream morak {
                server ${service_url_1};
                server ${service_url_2};
        }
server {
	server_name mo-rak.com www.mo-rak.com;
	location /api {
 		proxy_pass http://morak;
                proxy_set_header X-Real-IP ${dollar}remote_addr;
                proxy_set_header X-Forwarded-For ${dollar}proxy_add_x_forwarded_for;
                proxy_set_header Host ${dollar}http_host;
		}
	}
}
Bash
복사

그리고 그린 서버와 dollar 를 환경 변수로 등록하고 envsubst 명령어를 수행할 스크립트를 jenkins 에서 실행시켜 주도록 하였습니다.

•

route 스크립트

rm nginx.env

echo "export service_url_1=\"$1\"" >> nginx.env
echo "export service_url_2=\"$2\"" >> nginx.env
echo "export dollar=\"\$\"" >> nginx.env

source nginx.env

envsubst < /etc/nginx/nginx-template.conf | sudo tee /etc/nginx/nginx.conf

sudo service nginx reload
Bash
복사

envsubst 명령어로 앞서 등록한 그린 서버의 목록을 치환하여 출력하고 이를 tee 명령어로 기존의 nginx.conf 파일을 덮어쓰도록 구성하였습니다.

참고 자료

http://nginx.org/en/docs/http/ngx_http_upstream_module.html#upstream

https://www.baeldung.com/linux/envsubst-command