카드보드 신뢰성 보드게임 나이트: 실제 장애 대응을 위한 아날로그 테이블탑 드릴 설계하기

체크리스트만 따라가는 형식적인 장애 대응 연습에 앉아 있어 본 적이 있다면, 사람들이 얼마나 빨리 멘탈이 이탈하는지 잘 알 겁니다. 이제 이걸 재밌는 보드게임 나이트와 비교해보세요. 모두가 집중해서, 선택지를 두고 논쟁하고, 몇 수 앞을 생각하고, 실제로 즐기고 있죠.

이 에너지를 신뢰성 연습에도 그대로 가져올 수 있습니다.

이 글에서는 마커, 포스트잇, 인덱스 카드, 출력한 다이어그램 같은 아날로그 도구만으로도 보드게임 같은 느낌을 주면서, 실제 현업에 도움이 되는 신뢰성·장애 대응 능력을 날카롭게 키우는 아날로그 테이블탑 장애 대응 연습을 설계하는 방법을 설명합니다.

다룰 내용은 다음과 같습니다.

왜 테이블탑 신뢰성 드릴이 중요한가
장애 시나리오를 ‘게임 디자인’ 문제로 바라보는 법
실패와 대응을 시뮬레이션하는 구체적인 메커니즘
게임데이·카오스 엔지니어링에서 자주 나오는 함정과 회피 방법
정기적으로 세션을 진행하면서도 식상해지지 않게 만드는 방법

잘 설계된 테이블탑 드릴이 효과적인 이유

테이블탑 장애 시나리오는 단순히 “시스템이 이렇게 망가졌다”라는 이야기를 들려주는 자리가 아닙니다. 잘 설계되었을 때, 이것은 팀이 실제로 어떻게 행동하는지를 구조화된 리허설로 재현하는 도구입니다. 즉, 팀이 어떻게:

이상이 발생했다는 사실을 인지하고
불완전한 정보 속에서 문제를 분석하며
시간 압박 속에서 장애를 해결하고
재발 방지를 위해 구체적인 후속 개선을 도출하는지

를 연습하는 자리입니다.

실시 중인 시스템에 직접 손대는 게임데이나 카오스 실험과 달리, 테이블탑 드릴은 위험과 비용이 낮고, 매우 유연합니다. 예를 들어:

실제 프로덕션에서 시도하기에는 위험하거나 비윤리적인 극단적인 엣지 케이스도 다뤄볼 수 있고
평소 실제 장애에서는 손을 잘 대지 않는 사람들(프로덕트, 지원, 매니저 등)도 함께 참여시킬 수 있으며
중간에 일시정지, 되감기, “만약 이렇게 했더라면?” 같은 분기를 마음껏 탐색할 수 있습니다.

그리고 이 드릴을 진짜 보드게임 나이트처럼 느껴지게 만들면 얻는 가장 큰 효과는 이것입니다. 사람들의 몰입도가 유지되고, 기억에도 더 잘 남고, 프로세스의 허점이나 어색한 진실도 더 솔직하게 드러난다는 점입니다.

MC가 아니라 게임 디자이너처럼 생각하기

목표가 단지 “시나리오 하나를 돌려본다”라면, 결과는 대본 읽기에 그치기 쉽습니다. 반대로 목표를 **“게임을 디자인한다”**로 잡는 순간, 시나리오는 팀원들이 상호작용할 수 있는 하나의 시스템이 됩니다.

게임 디자인은 다음과 같은 유용한 렌즈를 제공합니다.

메커닉(Mechanics) – 플레이어가 취할 수 있는 행동은 무엇인가? (에스컬레이션, 롤백, 로그 조회, 특정 팀 페이징, 트래픽 스로틀링 등)
룰(Rules) – 어떤 제약이 존재하는가? (SLA, 접근 권한 제한, 시간 압박, 컴플라이언스 요구사항 등)
상태(State) – 현재 시스템 상황은 어떤가? (레이턴시 차트, 에러율, 티켓, 사용자 불만 접수 등)
피드백(Feedback) – 플레이어는 자신의 행동이 어떤 결과를 냈는지 어떻게 알게 되는가? (로그 조각, 메트릭 카드, 이해관계자의 반응 등)
승리·실패 조건 – 이 시나리오에서 어떻게 “이기거나” “지는가”?

먼저 게임 디자이너처럼 다음 질문들을 던져보세요.

이번에 연습하고 싶은 핵심 스킬은 무엇인가?
- 에스컬레이션과 커뮤니케이션인가?
- 특정 서브시스템의 딥 디버깅인가?
- 크로스팀 협업인가?
- 사후 분석과 재발 방지 설계인가?
이 도전 과제를 정의하는 제약은 무엇인가?
- 시간: “SLA 위반까지 60분 남았습니다”
- 도구 제한: “모니터링 시스템이 일부 고장 났습니다”
- 조직적 마찰: “두 팀이 해결책을 두고 이견을 보입니다”
이 시나리오를 흥미롭게 만드는 요소는 무엇인가?
- 상충하는 신호들
- 직관적인 원인이 아닌 비자명한 루트 코즈
- 빠르지만 위험한 해결책과 느리지만 안전한 해결책 사이의 트레이드오프

이 질문들에 답하는 순간, 이미 절반은 플레이 가능한 “신뢰성 보드게임”을 설계한 셈입니다.

아날로그 신뢰성 게임 나이트의 핵심 구성 요소

커스텀 아트웍이나 화려한 플레이 매트는 필요 없습니다. 잘 만든 아날로그 테이블탑 드릴은 단순한 재료와 명확한 구조만으로 충분합니다.

1. 시스템 맵 (게임 보드)

우선 고수준 아키텍처 다이어그램을 출력하거나 화이트보드에 그립니다.

서비스들, 데이터 스토어, 큐
외부 의존성 (결제 서비스, 인증, 서드파티 API 등)
사용자 진입점 (웹, 모바일, API 클라이언트)

이게 곧 여러분의 “보드”입니다. 플레이어들은 장애를 추적하면서 여기를 가리키고, 토론하고, 메모를 덧붙이게 됩니다.

2. 롤 카드(Role Cards)

참가자들에게 간단한 역할 카드를 나눠줍니다. 예를 들어:

온콜 엔지니어
인시던트 커맨더(Incident Commander)
SRE / 플랫폼 엔지니어
프로덕트 오너
고객 지원
외부 파트너 / 벤더

이 역할들은 누가 무엇을 대표해서 말하는지를 명확히 해 주고, 실제 장애에서 발생하는 커뮤니케이션 부담을 시뮬레이션합니다.

3. 액션 카드(Action Cards)

허용된 행동들을 카드나 공유된 시트 형태로 정리합니다. 예를 들면:

“서비스 X의 로그를 조회한다”
“대시보드 Y를 확인한다”
“마지막 배포를 롤백한다”
“엔드포인트 Z를 레이트 리밋한다”
“팀 A를 페이징한다”
“#incident 채널에 공지를 올린다”

각 액션에 대해 퍼실리테이터는 미리 준비된 응답을 갖고 있어야 합니다. 예를 들어 메트릭 스냅샷, 로그 발췌, 이해관계자의 반응, 새로운 합병증(부가 이벤트) 등입니다.

4. 인시던트 타임라인 덱

시간이 흐름에 따라 순차적으로 공개할 “이벤트 카드” 덱을 만듭니다.

새로운 알람
고객 불만 제기
효과 없어 보이는 부분적인 수정
서로 상반된 데이터

타임라인 덱은 리듬과 압박감을 부여하며, 이 상황이 정적인 퍼즐이 아니라 계속 움직이는 사건임을 상기시켜 줍니다.

5. 승리 / 패배 조건

게임을 시작하기 전에 “좋은 결과”가 무엇인지 명확히 정의합니다.

T+45분까지 서비스 수준을 허용 가능한 상태로 복구한다
장애 감지 후 10분 이내에 주요 이해관계자에게 상태를 공유한다
회고 단계에서 재발 방지에 도움이 되는 구체적인 액션 아이템을 최소 3개 이상 도출한다

이렇게 정의하면 플레이어들이 기술적인 루트 코즈뿐 아니라 프로세스와 예방에 집중하도록 도와줍니다.

게임데이·카오스 엔지니어링에서 좋은 점만 빌려오기

게임데이와 카오스 엔지니어링은 업계에 회복탄력성(Resilience)에 대해 많은 통찰을 제공해 왔습니다. 하지만 그만큼 반복적으로 등장하는 문제들도 있습니다. 아날로그 드릴에서는 이 문제들을 피할 수 있습니다.

함정 1: 과도하게 최적화된 “행복한 실패”

많은 게임데이에서는 팀이 이미 잘 알고 있는 실패 케이스만 반복 연습하는 경우가 있습니다.

더 나은 테이블탑 패턴: 의도적으로 애매하고 지저분한 신호와 낯선 서브시스템을 포함하세요. 목표를 “우리가 얼마나 강한지 증명한다”가 아니라, “우리가 어디가 약한지 학습한다”로 전환합니다.

함정 2: 1년에 한 번 하는 일회성 이벤트

연 1회 대규모 게임데이를 하는 것만으로는 실질적인 대응 역량을 기르기 어렵습니다.

더 나은 테이블탑 패턴: 작고 자주 하는 세션으로 바꾸세요.

매달 60–90분짜리 세션 한 번
매번 다른 초점을 둔 시나리오: 데이터베이스, 네트워크, 서드파티 의존성, 인증, 피처 플래그 등

이 반복을 통해 장애 대응 스킬뿐 아니라 팀 전체의 시스템 설계 사고도 함께 성장합니다.

함정 3: 후속 조치 없는 “좋은 논의”로 끝나기

카오스 실험이나 게임데이는 “좋은 토론”으로 끝나지만 실제 변화는 거의 없는 경우가 많습니다.

더 나은 테이블탑 패턴: 마지막 20–30분은 **미니 사후 분석(Post-Incident Review)**으로 명시적으로 시간을 떼어 두세요. 목표는 분명합니다.

3–5개의 명확히 서술된 후속 작업
각 작업마다 담당자와 목표 완료일 지정

특히 재발 방지와 회복탄력 개선에 초점을 맞추세요.

추가 알람 또는 대시보드 도입
런북 업데이트
더 안전한 롤아웃 절차 정의
장애 격리를 위한 아키텍처 개선

함정 4: 히어로 중심 참여

항상 같은 몇몇 전문가만 주도하고 나머지는 구경만 하는 상황이 자주 발생합니다.

더 나은 테이블탑 패턴: 룰을 활용해 넓은 참여를 강제하세요.

각 라운드(시간 단위)마다 모든 역할이 최소 한 번씩 말하거나 행동해야 한다
최근에 온콜이었던 사람은 질문만 할 수 있고, 직접 해결책을 제안할 수는 없다
신규 입사자가 메트릭을 가장 먼저 읽고 다음 행동을 제안한다

이렇게 하면 지식이 골고루 퍼지고, 세션이 누군가의 “무대”가 아니라 학습의 장이 됩니다.

첫 번째 카드보드 신뢰성 나이트 실행하기: 단계별 가이드

바로 복사해서 팀에 맞게 수정해 쓸 수 있는 가벼운 청사진을 제안합니다.

세션 이전 준비

시나리오 목표 정하기
- 예: “레이턴시 스파이크로 나타나는 부분적 데이터베이스 장애 대응 연습”
실패 설계하기
- 루트 코즈 정의 (예: 잘못된 커넥션 풀 설정, 공유 DB 클러스터에서의 noisy neighbor 문제 등)
- 시간이 흐르면서 어떤 증상들이 어떤 순서로 나타날지 설계합니다.
아티팩트 준비
- 아키텍처 다이어그램
- 메트릭 스냅샷(인쇄물 또는 나중에 단계별로 보여줄 스크린샷)
- 로그 스니펫
- 티켓 / 채팅 메시지 / 고객 문의 내용
덱 만들기
- 이벤트 타임라인 카드
- 액션 결과 카드 (플레이어가 특정 행동을 했을 때 어떤 정보가 드러나는지)

세션 진행 중

상황 브리핑 (5–10분)
- 시스템 컨텍스트 소개
- 역할, 가능한 액션, 승리 조건 설명
라운드 기반으로 시간 시뮬레이션 (30–45분)
- 각 라운드는 실제 장애 시간 5–10분을 대표한다고 가정
- 플레이어들이 액션을 선택하면, 퍼실리테이터가 그 결과와 다음 이벤트를 공개
- 타임라인, 주요 의사결정, 큰 오해들을 화이트보드나 보이는 곳에 기록합니다.
트위스트(변수) 추가하기
- 서로 다른 대시보드가 상반된 정보를 보여줌
- 장애 대응 도중 의존 서비스 하나가 새로 내려감
- 리더십에서 ETA를 강하게 요구함

이런 트위스트는 실제 프로덕션 장애의 현실감을 더해 줍니다. 단순 기술 퍼즐이 아니라, 사람과 조직의 압박이 함께 얽힌 상황이라는 점을 체험하게 해 줍니다.

세션 이후 (회고 & 재발 방지: 20–30분)

대응 과정 되돌아보기
- 어디에서 막혔는가?
- 더 일찍 가지고 있었으면 좋았을 정보는 무엇인가?
- 커뮤니케이션은 어디서 끊기거나 꼬였는가?
재발 방지 액션 도출하기
- “이 상황이 내일 실제 프로덕션에서 다시 일어난다면, 우리가 미리 갖추고 있기를 바라는 것은 무엇인가?”를 질문합니다.
- 답변을 구체적인 작업으로 전환합니다. 추상적 다짐이 아니라:
  - “체크아웃 서비스 p95 레이턴시 기반 SLO 알람 추가”
  - “리전 A에서 B로 트래픽 페일오버하는 방법 문서화”
  - “DB 커넥션 폭주 디버깅을 위한 런북 작성”
학습 내용 정리·아카이빙
- 시나리오 자료와 노트를 공유 리포지토리나 지식 베이스에 저장합니다.
- 포함할 항목:
  - 시나리오 설명
  - 주요 의사결정 타임라인
  - 후속 작업 리스트

시간이 지날수록 여러분은 내부용 시나리오 라이브러리를 구축하게 되고, 이를 재사용·리믹스·확장할 수 있습니다.

게임을 진화시키기: 시간이 지날수록 더 풍부하게 만들기

기본 포맷이 자리를 잡으면, 점차 더 게임스러운 메커닉을 얹어갈 수 있습니다.

리소스 제한 – 각 액션이 “시간 토큰”을 소비하도록 합니다. 플레이어는 넓게(많은 얕은 확인) 볼지, 깊게(적은 액션이지만 심층 조사) 볼지 선택해야 합니다.
포그 오브 워(Fog of War) – 일부 메트릭/로그는 노이즈가 많거나 오해를 불러일으키도록 설계하고, 플레이어가 교차 검증을 하도록 유도합니다.
멀티 테이블 플레이 – 두 개의 그룹이 서로 의존하는 시스템에서 각각 다른 장애를 동시에 처리하도록 해서, 크로스팀 교차조정을 시뮬레이션합니다.
이해관계자 롤플레잉 – 누군가는 “법무”, 누군가는 “PR” 역할을 맡아 커뮤니케이션·컴플라이언스 압박을 표면 위로 끌어올립니다.

또한 비엔지니어 대상 시나리오도 설계할 수 있습니다.

프로덕트 팀: 피처 플래그 오구성, UX 결함, 롤아웃 사고 등
지원 팀: 장애 티어링(Triage), 커뮤니케이션 템플릿, 에스컬레이션 경로 연습 등

참여 대상을 넓힐수록, 신뢰성은 특정 SRE 팀만의 전문 분야가 아니라 조직 전체의 기본 역량으로 자리 잡게 됩니다.

결론: 오늘은 카드보드, 내일은 회복탄력성

아날로그 테이블탑 장애 드릴은 얼핏 보면 그저 종이와 마커, 회의실 정도로 충분한 소박한 활동처럼 느껴질 수 있습니다. 하지만 여기에 게임 디자인 원칙을 적용하면, 이것은 강력한 신뢰성·장애 대응 훈련 도구로 변모합니다.

잘 설계된 드릴은 다음을 가능하게 합니다.

실제 장애를 발견·분석·해결하는 과정이 어떻게 돌아가는지 명확히 드러내고
추상적인 교훈이 아니라 구체적인 재발 방지 액션을 남기며
프로덕션 위험 없이 게임데이·카오스 엔지니어링의 장점만 빌려오고
팀 전체의 시스템 설계 사고를 키우고
장애 대응 연습을 사람들이 억지로 버티는 시간이 아니라 기대하는 시간으로 바꿉니다.

첫 시나리오부터 완벽할 필요는 전혀 없습니다. 작게 시작하세요. 실패 유형 하나만 고르고, 판을 거칠게 스케치하고, 이벤트 카드를 몇 장 써서, 소수 인원만 초대해 플레이해 보세요.

그리고 좋은 게임 디자이너가 하듯, 거기서부터 계속 반복·개선해 나가면 됩니다.

시간이 지날수록, 여러분의 “카드보드 신뢰성” 나이트는 단순한 엔터테인먼트를 넘어, 조직이 시스템·실패·학습을 바라보는 방식을 서서히 바꿔 나갈 것입니다. 그리고 그것이야말로 진정한 회복탄력성의 토대입니다.