개발 이야기2026년 11월 2일

가독 MongoDB 운영기

가독(GaDoc)은 회사 친구 준경이랑 만들기 시작한 협업 툴이다. 둘이 회의하고 나면 회의록이랑 문서를 모아 둘 곳이 필요했다. 예전에 심심풀이로 만들다가 잠들어 있던 메신저 slacord를 깨워서, 채팅하던 자리에서 문서와 이슈까지 이어 갈 수 있게 붙였다. (이야기가 좀 길어서 가독 개발기에 따로 적어 뒀다.)

그렇게 시작한 가독을 회사 사람들이 실제로 쓰기 시작했다. 11월 2일 기준으로 최근 일주일 동안 접속한 계정이 16개, 메시지를 보낸 사람이 12명이었고, 그 사이 메시지도 1,819개가 쌓였다. DB에는 동료들이 나눈 대화랑 같이 정리한 문서가 쌓이고 있었다.

가독은 맥미니 위 Docker에서 운영하고 있었다. DB는 slacord 시절 이름을 그대로 쓰는 MongoDB였고, 서버 프로세스 하나만 돌아가는 standalone 구성이었다. 그동안은 잘 돌아가고 있었는데, 문서·이슈·일정 기능을 고도화하면서 이 구성이 배포를 막게 될 줄은 몰랐다.

배포는 가독 채팅에서 한다. #배포 채널에 @웹이라고 치면 맥미니가 DB 백업부터 확인하고 main 브랜치를 운영 웹에 반영한다. 11월 2일 오후 1시 21분, 준경이가 평소처럼 @웹을 쳤다. 그리고 돌아온 답이 이거였다.

❌ 배포 실패 — 이전 버전 유지 (운영 DB가 standalone이라 이슈·폼 저장 호환성을 확인해야 함)

스레드에 "안되네" 한마디 남기고 바로 "제가 해드림"까지 호기롭게 질러 놨다. 웹만 하면 되냐고 물었더니 돌아온 답은 "둘 다용". 그런데 사실... 저 문장을 제대로 이해하고 있지는 않았다. standalone이 뭐길래 배포가 막히는 거고, DB를 '전환'한다는 건 정확히 뭘 바꾼다는 건지.

일단 이전 버전은 계속 돌아갔고, 동료들의 메시지도 그대로였다. 그래도 새 기능을 올리려면 왜 막혔는지 알아야 했고, 이미 쓰고 있는 DB를 건드리는 일이니 무작정 설정부터 바꿀 수도 없었다.

그동안 MongoDB는 연결해서 저장하고 조회하는 쪽만 주로 봤다. 이번에는 실행 구성을 바꿔야 하니, 트랜잭션부터 복제와 샤딩까지 직접 확인해 보기로 했다. 각각 해결하려는 문제는 달랐다.

  1. 여러 문서의 변경을 전부 저장하거나 전부 취소할 수 있나? → 트랜잭션
  2. 서버 한 대가 꺼져도 계속 쓸 수 있나? → 복제와 레플리카셋
  3. 데이터와 작업을 여러 서버에 어떻게 나눌까? → 샤딩

이번에 가독이 막힌 건 첫 번째 때문이다. 근데 글로만 읽으면 분명 일주일 뒤에 까먹을 것 같아서, 맥미니에 운영이랑 같은 MongoDB 9.0.4를 실험용으로 따로 띄워 놓고 하나씩 직접 띄우고, 죽이고, 지워 봤다. (전부 127.0.0.1에만 열어 둔 실험용 서버라 운영 DB랑은 아무 상관 없다. 혹시 몰라서...)


전날 밤 CI에서 먼저 만난 오류

전날 밤에도 비슷한 오류를 만났다. 가독에 일정이랑 문서 데이터베이스 기능을 더 붙이면서, 한 번의 저장에 여러 데이터가 함께 바뀌는 부분이 생겼다. 예를 들어 일정 참여자가 바뀌면 그 일정의 기록 문서를 볼 수 있는 권한도 같이 바뀌어야 한다. 일정만 바뀌고 문서 권한은 그대로 남으면 곤란하니까, 이 변경을 트랜잭션으로 묶었다.

그런데 E2E가 177개 통과, 40개 실패로 끝났다. 일정이랑 표 API가 503을 뱉고 있었다. 확인해 보니 CI에 띄운 MongoDB 설정이 원인이었다. 코드는 이미 트랜잭션을 쓰고 있는데, 테스트용 DB가 여러 문서 트랜잭션을 지원하지 않는 standalone이었던 거다.

CI의 MongoDB를 레플리카셋으로 띄우게 바꾸니까 503은 사라지고 실패도 21개로 줄었다. (남은 건 화면 쪽이랑 테스트 설정 문제였다.) 그런데 여기서 바꾼 건 CI에서 테스트할 때 쓰는 DB였다. 운영 DB까지 바뀐 건 아니었다.

CI에서 끝난 줄 알았는데, 다음 날 준경이의 @웹에서도 같은 문제가 생겼다. 운영 DB도 standalone이었던 거다. 테스트에서 고친 설정과 실제 서비스가 쓰는 설정을 따로 확인해야 한다는 걸 여기서 한 번 더 배웠다.


일단 용어부터: 서버 한 대랑 DB 하나는 다르다

처음에 제일 헷갈렸던 게 이거였다. 'DB를 바꾼다'고 할 때 대체 어느 층을 말하는 건지.

가독으로 치면 이렇다. 맥미니라는 호스트 위에 Docker 컨테이너가 있고, 그 안에서 mongod라는 MongoDB 서버 프로세스가 하나 돈다. 그 mongod 안에 slacord라는 데이터베이스가 있고, 데이터베이스 안에 issues, messages 같은 컬렉션이, 컬렉션 안에 이슈 한 건, 메시지 한 건 같은 문서가 들어 있다.

(DB 이름이 왜 slacord냐면, 가독이 원래 예전 회사 다닐 때 심심풀이로 만들던 slacord라는 사이드 프로젝트에서 출발했기 때문이다. 이 얘기는 가독 개발기에 적어 뒀다.)

MERMAID

그러니까 slacord에서 gadoc으로 옮기는 건 데이터베이스를 바꾸는 일이고, standalone을 레플리카셋으로 바꾸는 건 mongod가 돌아가는 구성을 바꾸는 일이다. 아예 층이 다르다. (이번엔 둘을 같이 했지만 원래는 별개의 작업이다. 이름만 고친 게 아니라 새 DB에 복사하고 검증했다.)

스키마가 없다는 말은 반만 맞다

실험용 DB에 가독 비슷한 가짜 데이터를 넣고, 이번에 맥미니에 MongoDB Compass를 깔아서 열어 봤다. 메시지 문서 하나가 이렇게 생겼다. 작성자는 객체로, 멘션이랑 첨부는 배열로 문서 안에 그냥 통째로 들어간다.

MongoDB는 같은 컬렉션 안에서도 문서마다 필드가 달라도 된다. Compass의 Schema 탭으로 이슈 300개를 분석해 보면 assignee나 closedAt이 없는 문서가 섞여 있는 게 바로 보인다. (회색 undefined 구간이 그거다.)

필드가 달라도 저장할 수 있는 건 편하다. 다만 애플리케이션이나 DB에 별도 검증을 두지 않았다면 상태값 오타도 저장될 수 있다. 그래서 컬렉션에 $jsonSchema 검증을 걸 수 있다. 필수 필드, 타입, 허용 값을 JSON 스키마 문법으로 적어 두면 된다.

이렇게 걸어 두면 status: 'opne' 같은 오타는 저장할 때 바로 튕긴다. 어느 필드가 왜 틀렸는지도 확인할 수 있다.


트랜잭션: standalone은 왜 안 될까

먼저 오해 하나부터. 문서 하나 안에서 여러 필드를 바꾸는 건 standalone에서도 원자적이다. 이슈 제목이랑 상태를 한 번에 바꾸면 둘 다 바뀌거나 둘 다 안 바뀐다. 공식 문서에도 "In MongoDB, an operation on a single document is atomic."이라고 적혀 있다.

문제는 여러 문서를 한 번에 바꿀 때다. 가독은 저장 버튼 한 번에 생각보다 많은 걸 같이 바꾼다.

  • 이슈 저장: 이슈 본문, 권한, 숨김 상태
  • 폼 제출: 문서, 행, 버전, 접수 기록
  • 일정 참여자 변경: 일정이랑 그 일정 기록 문서의 읽기 권한

이 묶음은 전부 저장되거나 전부 안 되거나 둘 중 하나여야 한다. 중간에 서버가 죽으면 반쯤 저장된 데이터가 남거나, 권한이 빠진 사람한테 잠깐 보일 수도 있다. 실제로 트랜잭션 없이 두 번 나눠 저장하다가 중간에 실패시켜 보면 이렇게 된다.

이슈는 1건, 활동 기록은 0건. 딱 '반쯤 저장된' 상태다. (이러면 곤란하다...)

그럼 standalone에서 트랜잭션을 쓰면 어떻게 될까? 직접 해 봤다.

엥? 나는 분명 트랜잭션을 썼는데 에러는 "retryable writes를 지원하지 않는다"고 나온다. 연결 문자열에 retryWrites=false를 붙여도 똑같다. 그래서 드라이버를 거치지 않고 트랜잭션 명령을 서버에 직접 보내 봤더니 그제야 원인을 확인할 수 있었다.

IllegalOperation: Transaction numbers are only allowed on a replica set member or mongos

트랜잭션 번호는 레플리카셋 멤버나 mongos에서만 쓸 수 있다는 얘기다. 드라이버가 이 에러를 retryable writes 쪽 안내로 바꿔서 보여 주는 바람에, 처음에는 다른 설정을 의심하기 쉬웠다. 공식 문서의 운영 고려 사항에도 이 제한이 적혀 있다.

MongoDB standalone deployments do not support transactions.

그래서 가독 코드는 저장하기 전에 지금 붙어 있는 MongoDB가 트랜잭션을 쓸 수 있는 구성인지부터 보고, 아니면 아무것도 저장하지 않고 503을 낸다. 줄여 보면 대충 이런 모양이다.

TypeScript

hello 응답에 setName이 있으면 레플리카셋 멤버, msg: 'isdbgrid'면 mongos(샤드 클러스터)다. 둘 다 아니면 standalone이다. 여기서 함정이 하나 있는데, isWritablePrimary: true만 보고는 구분이 안 된다. standalone에서도 쓰기는 가능해서 true가 나온다.

위 코드는 구분하는 부분만 줄인 예시다. 실제 배포 전 점검은 토폴로지뿐 아니라 세션 지원, 서버 버전과 쓰기 가능 상태도 확인한다. 그리고 트랜잭션 안의 각 작업에 같은 세션을 넘겨야 한 묶음이 된다. withTransaction 콜백은 재시도될 수 있으니 메일 발송처럼 되돌릴 수 없는 외부 작업을 그 안에 넣는 것도 조심해야 한다.

@웹이 막힌 것도 이 문제 때문이었다. 배포 도구는 먼저 운영 DB의 구성을 확인한다. standalone일 때는 이전에 호환성을 확인해 둔 이슈 구현인지, 새 폼 구현이 들어 있는지를 살펴보고, 확인되지 않은 조합이면 배포를 멈추게 해 뒀다. 모든 기능을 자동으로 검증하는 건 아니고, 당시 발견한 저장 문제를 막기 위한 안전장치다.

그러니까 준경이가 명령을 잘못 친 게 아니었다. 새 코드를 그대로 올렸다가 이슈나 폼 저장이 예상대로 되지 않을 수 있으니 이전 버전을 유지한 거다. 막혔을 땐 "안되네"였는데, 그때야 왜 배포가 멈췄는지 알 수 있었다.


서버는 그대로, 실행 방식만 바꾸기

해결책은 레플리카셋이다. 근데 레플리카셋이라고 꼭 서버가 세 대일 필요는 없다. mongod 하나를 멤버가 하나뿐인 레플리카셋으로 띄울 수 있는데, 이걸 단일 노드 레플리카셋이라고 부른다.

방금 standalone으로 쓰던 데이터 폴더는 그대로 두고, 서버를 내렸다가 --replSet 옵션만 붙여서 다시 띄웠다. 그리고 rs.initiate()를 딱 한 번.

hello에 setName: 'rs0'이 생겼고, standalone 시절에 넣어 둔 GADOC-1 이슈도 그대로 남아 있다. 데이터는 하나도 안 옮겼다. 이제 아까 그 트랜잭션을 다시 해 보면,

첫 번째 트랜잭션은 이슈랑 활동 기록이 둘 다 저장됐다. 두 번째는 이슈를 넣은 다음 일부러 에러를 던졌더니 GADOC-3이 0건이다. 먼저 넣었던 이슈까지 함께 취소됐다. 여러 문서의 변경이 한 묶음으로 처리된 걸 확인했다.

여기까지는 실험용 서버 얘기다. 실제 운영에서는 백업과 복원 방법부터 확인하고, 앱이 레플리카셋 멤버 주소에 실제로 닿을 수 있는지도 봐야 한다. 인증을 켜 둔 구성이라면 멤버 간 인증 설정도 필요하다. rs.initiate()는 처음 구성할 때 실행하는 거지, 서버를 다시 켤 때마다 반복하는 명령은 아니다.

레플리카셋이 되면서 생긴 게 하나 더 있다. oplog라는 작업 기록이다. Primary가 한 변경을 차례대로 적어 두는 특별한 컬렉션(local.oplog.rs)인데, 방금 실험에서 커밋한 트랜잭션을 찾아보면 이슈 저장이랑 활동 기록 저장이 applyOps 한 건으로 묶여 있다. 모든 트랜잭션이 항상 한 건으로 기록된다는 뜻은 아니다.

이 oplog가 바로 다음에 나오는 복제의 핵심이다.

다만 짚고 넘어갈 게 있다. 공식 문서의 운영 고려 사항에는 "To use transactions, your deployment must be a multiple node replica set."이라고 적혀 있다. 방금 해 본 대로 단일 노드에서도 트랜잭션은 돌아간다. 하지만 돌아가는 것과 운영에서 권장하는 건 다른 얘기다. 단일 노드는 서버가 하나라서 그 서버가 꺼지면 대신 받아 줄 멤버가 없다.

가독이 지금 필요한 트랜잭션은 단일 노드 레플리카셋으로도 쓸 수 있다. 다만 그 노드가 꺼지면 서비스도 멈춘다. 데이터를 가진 투표 멤버 세 대를 서로 다른 호스트에 두면 한 대를 잃어도 남은 두 대로 운영할 수 있다. Primary를 잃은 경우에는 선거가 끝날 때까지 쓰기가 잠시 중단된다.

샤딩에서는 각 샤드의 레플리카셋에 mongos와 config 서버 역할도 필요하다. 샤드마다 3노드를 두고 config 서버도 따로 두는 구성이라면 관리할 프로세스가 크게 늘어난다. 이 숫자가 모든 구성의 고정 공식인 건 아니고, MongoDB 버전과 config shard 사용 여부에 따라 배치도 달라진다. (샤드 클러스터 구성)


세 대 중 한 대를 죽여 봤다

이번에는 데이터를 가진 멤버 세 대(Primary 1, Secondary 2)를 기준으로 살펴봤다. 메시지 하나를 저장할 때 안에서 무슨 일이 일어나는지 따라가 보면 각자 역할이 보인다.

MERMAID
  • 쓰기는 Primary가 받는다. Secondary들은 복제 원본의 oplog를 비동기로 따라 읽으면서 같은 데이터를 유지한다. 그림은 이해하기 쉽게 둘 다 Primary를 따라가는 경우로 그렸다.
  • w: "majority"로 쓰면 이 3노드 구성에서는 과반인 2대에 쓰기가 기록된 뒤 성공 응답을 받는다. 세 대가 모두 반영될 때까지 기다린다는 뜻은 아니다. 기본 쓰기 확인은 대체로 majority지만, 아비터나 별도 설정에 따라 달라질 수 있다.
  • w: 1이면 Primary만 확인하고 바로 응답한다. 그래서 복제되기 전에 Primary가 죽으면 앱이 성공으로 받은 쓰기도 나중에 되돌려질(rollback) 수 있다. 공식 문서 표현 그대로면 "Data can be rolled back if the primary steps down before the write operations replicate to any of the secondaries."

Primary가 내려갔을 때 저장 요청이 어떻게 되는지 직접 확인해 봤다. 1초마다 메시지를 하나씩 저장하면서, 4.3초쯤에 Primary 프로세스를 kill -9로 날렸다. (실험용이니까 할 수 있는 짓이다...)

6.1초부터 14.1초까지는 저장 실패. Primary가 없으니 받아 줄 곳이 없다. 그러다 15.2초부터 다시 성공하는데, 이번엔 Primary가 28113으로 바뀌어 있다. 로그를 보면 13:48:35에 죽였고 13:48:46에 선거가 시작돼서 바로 끝났다. 약 11초.

공식 문서는 기본 설정에서 새 Primary를 뽑기까지 걸리는 시간의 중앙값이 보통 12초를 넘지 않는다고 설명한다. Secondary들이 Primary랑 기본 10초 동안 연락이 안 되면 선거를 시작하기 때문이다. 어디까지나 일반적인 중앙값이고, 네트워크나 구성에 따라 더 오래 걸릴 수 있다.

사실 위 실험은 차이를 잘 보려고 서버 선택 대기를 1초로 줄이고 재시도도 꺼 둔 상태였다. 그럼 앱 기본 설정(재시도 켬, 서버 선택 대기 30초)으로 저장 한 건을 보내면서 Primary를 죽이면 어떻게 될까?

이 실험에서는 실패 없이 8.9초 기다렸다가 새 Primary에 저장됐다. 드라이버가 쓰기를 받아 줄 Primary가 생길 때까지 기다렸다가 보낸 거다. 보내는 도중 연결이 끊긴 경우에도 지원되는 쓰기라면 retryable writes가 한 번 재시도한다. 다만 모든 요청이 반드시 성공하는 건 아니다. 대기 시간을 넘기거나 다른 오류가 나면 앱에서도 실패를 처리해야 한다. 사용자 입장에서는 '버튼 눌렀는데 9초 동안 멈춤'이니까 로딩 표시도 같이 고민해야 할 것 같다.

죽였던 노드를 다시 켜면 SECONDARY로 돌아와서 그동안 쌓인 oplog를 따라잡는다. 다시 켜고 보니 이 노드도 메시지 20개를 똑같이 가지고 있었다.


두 대를 띄운 뒤 한 대를 꺼 봤다

A랑 B 두 대가 서로 연락이 안 된다고 해 보자. A 입장에서는 B가 꺼진 건지, 둘 사이 네트워크만 끊긴 건지 구분할 방법이 없다. 둘 다 '어? 쟤 죽었네' 하고 각자 Primary가 돼서 쓰기를 받으면 데이터가 두 갈래로 갈라진다.

그래서 MongoDB는 투표 멤버의 과반(절반보다 많은 수)이 서로 보일 때만 Primary를 뽑고 유지한다. 2대의 과반은 2대라서 한 대만 잃어도 쓰기가 멈추고, 3대의 과반도 2대라서 한 대를 잃어도 남은 둘이 쓰기를 이어 간다.

말로 하면 계속 헷갈려서 직접 꺼 볼 수 있게 만들어 봤다. 3대에서 노드 A를 끄고, 2대로 바꿔서 B를 꺼 보면 차이가 바로 보인다.

이번에는 두 대짜리 레플리카셋을 만들고 Secondary 하나만 꺼 봤다. Primary는 멀쩡히 살아 있는데도,

10초쯤 뒤에 Primary가 스스로 SECONDARY로 내려와 버렸고, 그 뒤 저장은 전부 NotWritablePrimary로 막혔다. 로그에는 '과반이 안 보여서 선거에 나서지 않는다(I cannot see a majority)'고 남아 있었다. 한 대 더 있으니까 든든하겠지 했는데, 오히려 두 대라서 안 되는 거였다.

투표 멤버가 3대면 과반은 2대, 4대면 3대다. 둘 다 한 대를 잃는 것까지만 버틴다. 5대가 되면 과반 3대를 남기고 두 대까지 잃을 수 있다. 장애 허용 수를 늘리려고 3대에서 4대로 늘리는 건 효과가 없는 셈이다. 그래서 투표 멤버는 보통 홀수로 구성한다. 추가 멤버를 읽기 분산 등에 쓸 수는 있지만, 그건 또 다른 목적이다.

데이터 없이 투표만 하는 아비터를 넣어서 홀수를 맞출 수도 있다. 다만 Primary·Secondary·아비터(PSA) 구성은 Secondary 하나가 빠지면 majority 쓰기가 끝나지 않을 수 있어서, 문서도 웬만하면 데이터를 가진 멤버를 쓰라고 권한다.

그리고 세 대를 어디에 두느냐도 중요하다. 한 컴퓨터에 컨테이너 세 개를 띄우면 컨테이너 하나 죽는 건 버티지만, 그 컴퓨터 전원이 나가면 세 개가 모두 멈춘다. (지금 내 실험이 딱 그렇다. 맥미니 한 대 위의 프로세스 세 개...) 서버 장애를 버티려면 서로 다른 호스트에, 데이터센터 장애까지 버티려면 다른 가용 영역에 나눠 둬야 한다.


복제와 별개로 백업이 필요한 이유

레플리카셋이면 데이터가 세 군데 있으니까 백업도 되는 거 아닌가? 싶어서 채널 컬렉션을 실수인 척 지워 봤다.

세 노드가 사이좋게 같이 지웠다. 복제는 '변경'을 그대로 따라 하는 거라서 삭제도 똑같이 복제된다. 운영자 실수나 잘못된 배포로 날아간 데이터를 살리려면 결국 별도의 백업이 있어야 한다.

  • 정기 백업(mongodump)을 다른 위치에 두고, 복원이 실제로 되는지까지 확인해 둔다.
  • 지우기 직전까지 되돌리고 싶으면 시점 복구(PITR)가 필요하다. Atlas의 Continuous Cloud Backup은 oplog를 다시 재생해서, 백업 정책에 정해 둔 기간 안의 원하는 시점으로 클러스터를 되돌린다.
  • 일부러 한 시간 늦게 따라오는 지연 멤버(delayed member)를 숨겨 두는 방법도 있다. 잘못 지운 걸 그 사이에 건질 수 있지만, 시간이 지나면 삭제도 따라오므로 별도 백업을 대신하지는 못한다.

가독은 @웹 배포 직전에 DB를 백업하고 압축 무결성까지 확인한 다음에 배포를 시작한다. 이번 전환도 쓰기를 막은 뒤 최종 백업부터 떴다. 다만 압축 파일이 멀쩡하다는 것과 실제 복원이 된다는 것은 다르다. 복원 연습까지 해 봐야 안심할 수 있다.

그리고 쓰기가 계속되는 동안 mongodump만 실행하면 덤프가 한 시점의 일관된 상태가 아닐 수 있다. 레플리카셋 멤버를 전체 덤프할 때는 --oplog와 복원 시 --oplogReplay를 사용하는 방법이 있다. 특정 DB만 지정한 덤프나 샤드 클러스터 전체에는 그대로 적용할 수 없으니 구성별 공식 절차를 확인해야 한다.


사용자가 늘면 MongoDB를 더 붙이면 되나?

여기서는 같은 데이터를 복사하는 것과 서로 다른 데이터를 나눠 맡기는 걸 구분해야 한다. 가독 메시지가 100GB라고 쳐 보자.

  • 복제: 세 노드가 각자 같은 100GB를 가진다. 한 대를 잃어도 데이터는 남는다. 근데 쓰기는 여전히 Primary 혼자 받는다.
  • 수직 확장(scale up): 지금 서버의 RAM·CPU·디스크를 키운다. 자주 보는 데이터랑 인덱스가 메모리에 안 들어가서 디스크 읽기가 늘었다면 효과가 있다.
  • 샤딩: 100GB 중 일부는 샤드 A가, 나머지는 샤드 B가 맡는다. 각 샤드는 다시 레플리카셋으로 복제한다.

서버 키우기 전에 인덱스부터

채널 메시지 조회가 느리면 서버를 키우기 전에 쿼리가 얼마나 읽고 있는지부터 확인해 볼 만하다. 메시지 10만 개에서 '채널 하나의 최신 메시지 50개'를 인덱스 없이 조회하고 Compass의 Explain을 눌러 보면 이렇다.

50개 찾자고 10만 개를 다 훑고(COLLSCAN) 메모리에서 정렬까지 했다. Compass에서도 '인덱스 없이 실행된 쿼리'라고 표시하며 인덱스를 만들라고 안내한다. { channelId: 1, createdAt: -1 } 인덱스를 만들고 같은 조회를 다시 보면,

딱 50개만 보고 끝난다(IXSCAN). 메모리 정렬도 없다. 데이터가 커질수록 이 차이는 더 벌어진다. 샤딩이니 증설이니 하는 건 이걸 확인하고 나서 할 얘기다.

샤드 키를 어떻게 잡을까

샤드 클러스터는 이렇게 생겼다. 앱은 샤드에 직접 붙지 않고 mongos라는 라우터에만 붙는다. mongos는 config 서버에 있는 지도(어느 범위가 어느 샤드에 있는지)를 보고 요청을 보낸다.

MERMAID

이것도 직접 띄웠다. config 서버 하나, 샤드 두 개, mongos 하나. 그리고 일부러 치우친 데이터를 넣었다. 워크스페이스 10개, 메시지 19,996개 중 ws-07 하나가 16,000개(80%)인 상황이다. (혼자 열일하는 워크스페이스 하나쯤은 어디에나 있다.) 샤드 키를 { workspaceId: 1 }로 잡고 ws-06부터를 shard-b로 보냈다.

shard-b가 문서의 88.89%를 가져갔다. 큰 워크스페이스를 떠안은 샤드만 계속 바쁜 상황이다. 조회는 어떨까? explain으로 mongos가 어디로 보내는지 봤다.

workspaceId가 들어간 조회는 담당 샤드 한 곳에만 간다(SINGLE_SHARD). 반면 샤드 키가 없는 전체 검색은 모든 샤드에 물어보고 결과를 합친다(SHARD_MERGE). 샤드가 늘면 조회를 보내고 결과를 합쳐야 할 대상도 많아진다.

그럼 ws-07을 반으로 쪼개면 되지 않나? 해 봤다.

CannotSplit: chunk is indivisible. 거절당했다. ws-07 문서들은 샤드 키 값이 전부 'ws-07'로 똑같아서 더 나눌 기준이 없는 거다. 그래서 샤드 키 뒤에 channelId를 붙여 다듬었다(refineCollectionShardKey). 그러고 나서야 ws-07의 앞쪽 채널들을 shard-a로 옮길 수 있었고, 분포가 10,220 대 9,776으로 맞춰졌다.

물론 공짜는 아니다. 이제 ws-07 전체를 조회하면 두 샤드에 다 물어본다(SHARD_MERGE). 대신 채널까지 지정한 조회는 여전히 한 곳으로 간다. 아래에서 조회 조건을 바꾸면 어느 샤드로 요청이 가는지 확인할 수 있다.

그래서 샤드 키를 고를 때는 이 정도를 본다.

  • 값의 종류가 많아야 하고(카디널리티), 한 값에 데이터가 몰리지 않아야 한다(빈도).
  • 시간처럼 계속 커지는 값이면 새 데이터가 늘 한 샤드 끝으로만 몰린다. 이럴 땐 해시 샤딩을 고려한다.
  • 5.0부터는 reshardCollection으로 샤드 키를 바꿀 수 있긴 한데, 처음부터 잘 고르는 게 제일 싸다.

그리고 샤딩을 하는 순간 운영 복잡도가 확 올라간다. 공식 문서도 "Sharded cluster infrastructure requirements and complexity require careful planning"이라고 적어 둘 정도다. 사용자 수만 보고 샤딩을 결정할 게 아니라, 어떤 컬렉션의 어떤 읽기·쓰기가 서버 한 대의 한계에 닿았는지부터 확인하는 게 맞는 것 같다.


Atlas 같은 관리형은?

패치, 모니터링, 백업, 장애 대응을 직접 할 여력이 없으면 MongoDB Atlas 같은 관리형 서비스를 검토할 수 있다. 다만 백업 주기나 시점 복구 가능 여부는 요금제와 설정에 따라 다르다. 관리형이라고 복원 계획까지 저절로 생기는 건 아니니, 보관 기간과 복구 방법은 직접 확인해야 한다. 내가 직접 패치와 백업, 복원까지 챙길 수 있는지도 비용과 함께 봐야 한다.

포퐁은 이미 관리형으로 쓰고 있어서 이런 고민을 덜 했는데, 가독이랑 이 블로그는 맥미니 위 Docker에서 직접 돌리고 있으니... 위의 일을 전부 내가 챙겨야 한다. (맥미니야 힘내...)


그래서 가독은

문제마다 맞는 답이 다르다. 여러 문서를 같이 저장하거나 같이 취소해야 하면 레플리카셋(서버가 한 대면 단일 노드로도 된다. 물론 코드도 그 쓰기들을 같은 트랜잭션으로 묶어 둬야 한다). DB 서버 한 대가 고장 나도 메시지를 계속 보내야 하면 서로 다른 호스트에 3대. 실수로 지운 채널을 살려야 하면 복제랑 별개인 백업과 검증된 복원 절차. 이걸 다 직접 할 여력이 없으면 관리형.

이번에 가독한테 당장 필요한 건 첫 번째였다. 이미 쓰고 있는 메시지와 문서를 보존하면서, 트랜잭션이 필요한 기능을 서버 한 대에서 돌리는 것. 그래서 단일 노드 레플리카셋으로 전환하고, 하는 김에 DB 이름도 옛 이름 slacord에서 gadoc으로 바꾸기로 했다.

이 선택으로 맥미니가 고장 나도 서비스가 계속되는 건 아니다. 한 대에서 트랜잭션을 쓸 수 있게 만드는 게 이번 목표다. 서버 한 대가 죽어도 이어지는 구성이 필요해지면 서로 다른 호스트에 멤버를 나눠야 한다. 샤딩은... 이번 문제랑은 아무 상관이 없다. (공부는 했으니 됐다.)

리허설부터

이미 동료들이 쓰는 데이터가 있으니 운영 DB에 바로 명령부터 치지는 않았다. 먼저 운영 데이터 복사본으로 리허설을 돌렸다. 새 구성이 뜨는지만 볼 게 아니라, 기존 데이터가 빠짐없이 넘어가고 문제가 생겼을 때 되돌릴 수 있는지도 확인해야 했다.

새 DB 이미지는 레플리카셋 gadoc으로 잘 떴다. 멤버끼리 쓰는 인증 키 파일은 첫 부팅 때 알아서 만든다. slacord를 gadoc으로 옮긴 다음 컬렉션 58개, 문서 29,145건을 개수랑 해시로 하나하나 비교해 보니 차이 0. 인덱스까지 똑같았다.

새 gadoc 계정으로 트랜잭션 커밋이랑 취소도 해 보고, 컨테이너를 껐다 켜도 레플리카셋이 유지되는 것까지 봤다. 혹시 몰라서 예전 이미지랑 예전 주소로 다시 띄워 보고, 되돌리기도 되는 것까지 확인했다.

그리고 이 DB 작업, 복사랑 비교까지 다 해서 3초 걸렸다. 3초...! 이때까지만 해도 점검은 1~2분이면 끝날 줄 알았다.

운영 순서는 이렇게 잡았다. 쓰기를 먼저 완전히 막고, 옛 slacord DB는 새 DB를 끝까지 대조할 때까지 지우지 않는다. 사라지는 데이터가 없도록.

  1. 멈추기: 점검 공지 → 점검 화면을 띄우고 쓰기 차단 → 백엔드 정지 → 최종 백업
  2. 바꾸기: --replSet gadoc으로 뜨는 새 이미지로 교체 → rs.initiate() → slacord를 gadoc으로 복사하고 문서 수·해시 전수 비교
  3. 다시 열기: 연결 주소를 gadoc + replicaSet으로 변경 → 백엔드 시작, 상태 확인 → 점검 해제

그리고 실전

11월 2일 오후 2시 15분에 점검 화면을 띄우고, 2시 50분에 풀었다. 1~2분이라고 공지했던 점검이 35분 걸렸다. 원인은 조금 뒤에 적어 두었다.

결과부터 말하면 DB는 standalone에서 레플리카셋 gadoc으로, 이름은 slacord에서 gadoc으로(계정도 gadoc으로) 바뀌었다. 쓰기를 막은 시점 기준으로 컬렉션 58개, 문서 30,361건이 해시까지 그대로 옮겨졌다. 리허설 때 29,145건이던 데이터가 그사이 더 쌓인 거다. 웹, API, 로그인, 데스크톱 업데이트 피드도 확인했다. 옛 DB는 지우기 직전 상태로 한 번 더 백업한 다음에 정리했다.

전환이 끝나고 운영 가독 MongoDB한테 hello를 물어보면 이제 이렇게 답한다.

35분이 걸린 이유는... 점검 화면이 배포 도구의 확인 요청까지 열심히 막고 있었기 때문이다. 서버 설정을 새 DB 주소로 바꾸는 도구는 적용한 다음 바깥 주소로 서버가 살아 있는지 확인하는데, 그 확인 요청까지 점검 화면(503)이 막아 버렸다. 도구는 실패로 판정했고, 자동 되돌림 검사도 같은 이유로 실패해서 '수동 복구 필요' 잠금까지 걸렸다. 확인용 주소를 점검 화면에서 빼 주고 잠금을 푼 다음에야 끝났다. 사용자 요청을 막는 점검 화면과 배포 도구의 상태 확인 요청을 구분했어야 했다. DB 작업보다 여기서 더 오래 걸릴 줄은 몰랐다...

그리고 하나 더. 전환하는 동안 옛 서버와 새 서버가 각각 1분 정도 같이 돌면서 점검 예고 알림을 서로 따로 처리했다. 그래서 일부 사용자는 점검 예고 푸시를 두 번 받았다. (받으신 분들 죄송합니다... 사용자가 쓴 데이터는 차이가 없었다.) 다음엔 옛 서버를 확실히 멈춘 다음에 새 서버를 띄우는 순서를 더 엄격하게 지키려고 한다.

그리고 점검이 끝나고 다시 친 @웹.

1분 11초 만에 배포가 끝났다. 오전에 막혔던 바로 그 배포다.


전환을 마치고

"제가 해드림"이라고 해 놓고 standalone이 뭔지부터 공부했다. 단일 노드를 레플리카셋으로 바꾸면 트랜잭션은 쓸 수 있지만, 맥미니가 꺼졌을 때 대신 받아 줄 서버가 생기는 건 아니었다. 복제본이 있어도 삭제까지 같이 따라가니 백업은 따로 필요했고.

실험에서는 노드를 죽여 보고 컬렉션도 지워 봤다. 그런데 정작 운영 전환을 오래 붙잡은 건 점검 화면이었다. DB 복사만 재 보고 1~2분이면 된다고 생각한 게 문제였다. 동료들이 기다리는 시간에는 백업, 서버 시작, 바깥에서 접속되는지 확인하는 과정까지 전부 들어가는데 말이다.

여튼 데이터는 그대로 옮겼고, 오전에 막혔던 @웹도 다시 됐다. 다음 점검 공지는 DB 복사 시간만 보고 잡지 말아야겠다. 🙇🏻‍♂️

가독 이야기

참고한 공식 문서