가독 배포 일지: 운영 서버에서 빌드하다가
가독은 요즘 하루에도 여러 번 배포한다.
준경이랑 가원이 형, 그리고 회사 개발자 몇 분이 가독을 같이 쓰고 있다. 쓰다가 불편한 게 생기면 하나씩 고친다. Claude랑 Codex에도 작업을 나눠 맡기다 보니 배포할 게 금방 쌓인다.
11월 11일 저녁에는 그렇게 배포하다가 가독이 멈췄다. 그날은 금방 복구했는데, 다음 날 아침에 또 멈췄다.
가독은 처음부터 서비스가 돌아가는 컨테이너 안에서 다음 버전을 빌드했다. 처음엔 그걸로 충분했다. 그런데 기능이 늘고 서비스가 커지면서 가독을 돌리는 중에 빌드까지 하기엔 메모리가 빠듯해졌다. 다음 날 아침에는 백엔드 코드가 CPU를 계속 쓰는 문제까지 겹쳤다.
서비스를 복구하고 나서 빌드를 운영 컨테이너 밖으로 옮기기 시작했다. Claude는 빌드를 맡고, Codex는 결과물을 받아 새 버전을 띄우고 문제가 생기면 이전 버전으로 되돌리는 쪽을 맡았다.
11월 12일 오후에는 VM 메모리를 늘리고 새 방식으로 빌드하는 데까지 성공했다. 이때는 아직 그 결과물로 운영 중인 가독을 교체하기 전이었다.
복구한 뒤 11월 12일에 Control에서 찍은 화면이다. 여기서는 맥미니 전체 자원을 보고 있다. 아래에 나오는 4GB는 가독 컨테이너에 따로 걸어 둔 메모리 한도다.
운영 중인 곳에서 다음 버전을 만들고 있었다
처음 배포를 붙일 때는 소스를 운영 컨테이너로 보냈다. 거기서 패키지를 설치하고 웹과 서버를 빌드한 뒤, 새 버전을 띄웠다.
작은 서비스일 때는 이게 편했다. 가독이 실제로 돌아갈 환경에서 빌드하니 환경을 두 번 맞출 일도 없었다.
문제는 빌드가 쓰는 메모리까지 가독 컨테이너의 한도에 포함된다는 점이었다. 빌드하는 동안에도 사람들은 평소처럼 가독을 쓰고 있었다. 메모리가 모자라면 커널이 컨테이너 안의 프로세스를 종료할 수 있다. Docker 자원 제한 문서
배포를 시작하는 경로도 여러 개였다. 채팅으로 요청하는 러너와 수동 명령이 있어서, 한쪽이 빌드 중일 때 다른 쪽에서도 시작할 수 있었다. 같은 배포 잠금을 쓰도록 정리할 필요가 있었다.
배포하다가 가독이 안 열렸다
11월 11일 저녁 6시 4분쯤, 홈페이지가 안 열리고 API도 시간 안에 응답하지 않았다. 컨테이너를 열어 보니 메모리 한도가 4GiB인데 3.999GiB를 쓰고 있었다.
그때 가독 옆에서 돌고 있던 게 next build였다. 커널 로그를 보니 메모리가 부족해 빌드 워커가 종료됐다. 그 뒤 메모리 사용량은 약 1.7GiB로 내려갔고, 6시 5분에는 홈페이지와 API가 다시 응답했다.
배포가 겹쳤을 가능성도 있었지만, 당시 어떤 경로에서 다른 빌드가 시작됐는지까지는 찾지 못했다. 우선 로그에서 확인한 메모리 부족부터 해결해야 했다.
Claude랑 Codex에 작업을 나눠 맡기면서 배포도 각자 진행하고 있었다. 같은 서버에서 이미 빌드가 돌고 있는지 확인하는 처리가 빠져 있었다.
다음 날 아침에도 또 멈췄다
11월 12일 아침에도 웹을 빌드하다가 메모리가 꽉 찼다. 이번에는 백엔드에서도 CPU를 계속 쓰고 있어서 그 코드까지 확인해야 했다.
문제는 MongoDB에서 문서 권한이 바뀌었는지 확인하는 부분이었다. tryNext로 변경 내용을 읽는데, 바뀐 게 없어도 쉬지 않고 바로 다시 확인하고 있었다. 이 코드가 계속 도는 동안 다른 API 요청도 처리하지 못했다.
변경된 내용이 없으면 0.25초(250ms) 기다렸다가 다시 확인하도록 고쳤다. 실행 중이던 빌드도 멈췄다. 그러고 나서 수정한 백엔드를 다시 띄우니 API가 응답하기 시작했다.
일단 반복 호출은 줄였다. 변경이 없을 때 CPU를 얼마나 쓰는지, DB 연결이 끊겼다가 돌아오면 제대로 다시 연결하는지는 더 확인해야 한다.
아침 장애는 이렇게 복구했다. 이제 다음 배포 때도 메모리가 모자랄 문제를 해결할 차례였다.
운영에는 완성된 결과물만 보내기로
가장 먼저 빌드 장소를 옮기기로 했다. 운영 컨테이너에서는 install, build, 타입 검사를 빼고, 밖에서 만든 결과물만 받아 실행하도록 코드를 바꾸고 있다.
빌드한 파일에는 소스 버전과 사용한 도구 버전, 파일 해시를 함께 넣어 보내기로 했다. 운영 서버에서 어느 버전인지, 전송 중 파일이 바뀌지는 않았는지 확인하기 위해서다. 이렇게 만든 배포 결과물 묶음을 artifact라고 부른다.
빌드 환경은 운영의 OS, CPU 아키텍처, Node와 pnpm 버전에 맞추는 방향이다. 특히 네이티브 모듈이 있으면 맥에서 만들어 Linux에 복사하는 식으로 끝낼 수 없다. 환경을 맞추더라도 실제 결과물이 기동하는지 확인하는 과정은 필요하다.
처음 설계에서는 Next.js의 standalone 출력도 검토했다. 실행에 필요한 의존성을 추릴 수 있지만, 모노레포의 파일 추적과 정적 파일 처리를 함께 바꿔야 한다. Next.js standalone 설명
우선 가독이 쓰던 폴더 구조를 그대로 가져가기로 했다. 웹은 빌드된 .next, 서버는 dist를 보내고, 실행할 때 필요한 패키지도 같이 묶는다.
파일들을 tar.gz로 묶고, 안에 뭐가 들어 있는지는 manifest.json에 적었다. 압축 파일 전체의 해시는 바깥에 둔 envelope.json에 저장한다. 안에 넣으면 해시를 적는 순간 압축 파일이 또 바뀌기 때문이다.
받은 파일의 크기와 경로, 해시를 검사하고 새 버전으로 교체하는 코드도 작성했다. 단위 시험은 통과했고, 실제 빌드 결과물로 기기를 연결한 채 전환하는 시험과 운영 적용은 남아 있다.
같은 소스로 빌드해도 환경이 달라지면 결과물이 달라질 수 있었다. lockfile, 빌드 이미지, 공개 빌드 환경값, 빌드 스크립트가 바뀌면 결과가 달라질 수 있다. 그래서 결과물 재사용 키에는 이런 입력을 함께 넣는 안으로 보강했다.
빌드할 때만 임시 컨테이너를 띄우기로 했다
빌드용 서버를 계속 하나 더 켜 두는 대신, 빌드할 때 임시 Linux 컨테이너를 만들고 끝나면 지우기로 했다. 빌드한 결과물만 남겨서 운영 쪽으로 넘긴다. 성공했을 때뿐 아니라 실패하거나 중간에 멈췄을 때도 컨테이너를 정리하도록 했다.
그런데 빌드 컨테이너도 결국 같은 맥미니에서 돈다. 가독 컨테이너와 빌드 컨테이너가 쓰는 메모리는 같은 Docker VM에서 나온다.
그래서 빌드 컨테이너는 CPU 2개와 메모리 최대 3GiB로 제한했다. 시작하기 전에 VM의 여유 메모리를 확인하고, 빌드 도중에도 부족해지면 중단하도록 했다. 여러 작업 창에서 동시에 실행하지 못하게 잠금도 둔다. 컨테이너가 정리된 것까지 확인한 다음 잠금을 풀도록 만들었다.
VM 메모리도 10GB에서 15GB로 늘렸다
11월 12일 오후에는 Docker VM의 메모리 한도를 10GB에서 15GB로 늘렸다. 이 설정을 적용하려면 VM을 다시 시작해야 해서, 같은 VM에서 돌던 가독과 블로그, 포퐁도 잠깐 멈췄다.
13시 6분에서 7분 사이에 재시작했고, 켜져 있던 컨테이너 8개가 다시 올라왔다. 서비스 중단은 1분 안쪽이었고 세 서비스의 HTTP 응답도 200으로 돌아왔다. 당시 VM 안에서 확인한 여유 메모리는 약 11.86GiB로, 빌드 시작 기준으로 둔 4.5GiB보다 넉넉했다.
빌드가 끝나면 3GiB 한도를 걸어 둔 임시 컨테이너는 지운다. 다음 빌드를 위해 계속 켜 둘 필요가 없다. VM에 설정한 15GB 한도는 그대로다.
메모리를 늘리고 다시 돌린 빌드는 끝까지 통과했다. 여기까지 만든 건 운영 서버에 보낼 웹과 백엔드다. Electron 설치 파일은 별도 빌드로 만든다.
빌드 환경도 고정하고 있다. 의존성을 가져오는 단계와 빌드 코드를 실행하는 단계를 나누고, 실제 빌드는 네트워크 없이 실행하도록 했다. 기반 이미지와 패키지 버전도 맞춰서, 같은 소스를 다시 빌드할 때 환경 차이 때문에 결과가 바뀌는 일을 줄이려 한다.
통화 중인데 배포부터 해도 될까
예전 회사에서는 Docker로 블루그린 배포를 구성해 써 본 적이 있다. 새 버전의 컨테이너를 따로 띄우고, 정상적으로 동작하는 걸 확인한 다음 요청을 그쪽으로 넘기는 방식이었다. 그래서 가독 배포를 바꾸면서도 먼저 그 방식을 생각했다.
그런데 가독에는 채팅뿐 아니라 통화와 원격접속도 있다. 새 서버가 잘 뜨는 것까지는 확인할 수 있는데, 배포하는 동안 누군가 통화하고 있거나 원격 터미널에서 작업하고 있으면 그 연결은 어떻게 되는지 더 봐야 했다.
허들 참가자와 원격접속 세션 일부는 백엔드 메모리에 있다. 백엔드 두 개가 동시에 요청을 받으면 같은 방에 들어온 사람인데 서로 다른 서버에 붙을 수도 있다. nginx가 새 서버로 보내 준다고 그 메모리까지 같이 옮겨 주지는 않는다.
가독에서는 백엔드를 한 번에 하나만 띄우기로 했다. 새 웹은 미리 띄워서 확인할 수 있다. 백엔드는 기존 프로세스를 내리고 새 버전을 시작하니 그사이에 잠깐 연결이 끊긴다.
원격접속이나 SSH를 쓰고 있으면 교체를 미룬다. 누군가 터미널에서 작업하는데 내가 새 버튼 하나 배포하겠다고 끊어 버릴 수는 없으니까. 진행 중인 HTTP 작업도 끝날 때까지 기다린다.
처음엔 남은 연결부터 세려고 했다. 그런데 0개라고 확인한 직후에 누군가 새로 접속할 수도 있다. 그래서 새 원격접속부터 잠시 막고, 연결을 준비 중인 사람까지 확인한다. 쓰는 사람이 남아 있으면 이번 배포를 미룬다.
채팅은 재연결 뒤 놓친 메시지를 다시 읽고, 문서는 남은 변경을 합치는 과정도 봐야 한다. 통화는 시그널링 연결과 실제 미디어 연결이 따로여서 HTTP 200만 확인하고 끝낼 수 없다. 실제로 여러 기기에서 통화와 문서 편집을 켜 둔 채 전환하는 시험이 남아 있다.
이전 웹의 정적 파일도 바로 지우지 않기로 했다. 배포했다고 사용자가 전부 새로고침하는 건 아니다. 아까 열어 둔 화면이 옛 JavaScript 파일을 요청할 때도 받아 갈 수 있어야 한다.
이전 버전으로 돌아갈 때
새 버전에 문제가 생기면 직전에 쓰던 파일로 돌아가려고 한다. 다만 배포하면서 DB 구조도 바꿨다면, 예전 코드가 지금 데이터를 읽을 수 있는지부터 봐야 한다.
이번 설계에서는 최소한 현재 버전과 직전 결과물을 보존하고, 배포한 소스 버전과 결과물 해시를 남기려 한다. 실패한 단계도 같이 기록해야 다음에 어느 지점부터 다시 실행할지 알 수 있다.
| 11월 12일 오후 기준 | 상태 |
|---|---|
| 장애 당시 빌드 중단과 백엔드 복구 | 완료 |
| 빈 응답 반복 완화 소스 수정 | main 반영 |
| 채팅 배포 러너 | 재설계 동안 일시 중지 |
| 임시 컨테이너에서 빌드 | VM 메모리 증설 후 빌드 명령 정상 종료 |
| Docker VM 메모리 | 10GB에서 15GB로 변경, 재시작 후 서비스 응답 확인 |
| 결과물 검증·연결 보호·복구 | 별도 브랜치에 구현, 단위 시험 통과 |
| 새 파이프라인 실배포 검증 | 결과물 검사와 실제 교체 확인 남음 |
복구하고 나서도 채팅 배포 러너는 일단 멈춰 뒀다. 새 도구를 붙이기 전에 예전 명령으로 운영 안에서 빌드하는 길부터 같이 정리해야 했다.
다음 배포 시험은 가독을 켜 놓고 해 보려고 한다. 통화하던 두 사람이 계속 서로의 목소리를 들을 수 있는지, 배포하는 사이에 보낸 메시지가 다시 연결한 화면에도 뜨는지, 쓰던 문서에 마지막으로 입력한 글자가 남아 있는지. 이번에 알고 싶은 건 그거다.