소개

디지털 시스템은 눈에 잘 보이지 않는 방식으로 망가집니다.

대시보드는 혼란을 깔끔한 몇 개의 차트로 납작하게 만들고, 로그는 읽을 수 없을 만큼 빠르게 흘러가며, 런북은 이미 스트레스가 극에 달한 뒤에야 겨우 열리는 숨겨진 탭 안에 숨어 있습니다. 우리는 시그널, 증상, *고장 모드(failure mode)*에 대해 이야기하지만, 많은 팀에게 신뢰성(reliability)은 여전히 추상적입니다. 손으로 만져 볼 수 있는 무언가가 아니라, 그래프와 티켓 안에서만 일어나는 일처럼 느껴집니다.

그렇다면, 신뢰성이 실제로 어디에서 멈추고 있는지 몸으로 느껴볼 수 있다면 어떨까요?

여기서 등장하는 개념이 바로 아날로그 인시던트 스토리 태엽 정원(Analog Incident Story Wind‑Up Garden) 입니다. 의도적으로 저(低)기술, 손으로 ‘태엽을 감는’ 종이 기반 환경에서 인시던트 대응을 연습하는 방식입니다. 테이블탑 연습이자, 카오스 엔지니어링 실험실이면서, 동시에 놀이터 같은 공간입니다. 실패 모드를 물리적으로 보이고, 손으로 만질 수 있게 만들면, 슬라이드 덱만으로는 절대 만들어지지 않는 직관과 근육 기억(muscle memory)을 팀이 함께 쌓을 수 있습니다.

테이블탑 연습이란 무엇인가 (그리고 왜 아날로그인가)

테이블탑 연습(tabletop exercise) 은 협업 기반의 스토리 중심 인시던트 시뮬레이션입니다. 엔지니어, SRE, 온콜 개발자, 필요하다면 고객지원이나 프로덕트까지 포함한 크로스펑셔널 그룹이 모여, 가상의 혹은 사전에 구성된 장애 상황을 함께 따라가며 대응을 연습합니다.

아마 비슷한 형식을 본 적이 있을 겁니다.

• 구글의 Wheel of Misfortune
• “Walk the plank” 스타일의 인시던트 롤플레이
• 실제 인시던트를 재연하는 ‘재 enacted’ 포스트모템 세션

이런 연습에서 모두가 함께 고민하는 질문은 대개 이렇습니다.

• 우리는 무엇을 가장 먼저 눈치채는가? (알람, 고객 문의, 이상한 메트릭 등)
• 그 다음에 무엇을 하는가? (트리아지, 페이징, 완화(Mitigation) 단계)
• 어떻게 커뮤니케이션 하는가? (상태 공유, 인시던트 채널, 임원 브리핑 등)
• 언제 성공을 선언하는가? (그리고 그 후속 조치는 무엇인가?)

대부분의 팀은 이걸 노트북, 문서, 채팅 도구 위에서 진행합니다. 분명 유용하지만, 동시에 시스템의 감각을 추상화 속에서 잃어버리기 쉽습니다. 태엽 정원의 전제는, 종이, 토큰, 물리적 보드로 옮겨 왔을 때 학습 효과가 훨씬 증폭된다는 것입니다.

태엽 정원이라는 은유

옛날 태엽 장난감을 떠올려 보세요. 힘을 더해 태엽을 감고, 손을 떼면 어떻게 움직이는지 지켜봅니다. 매끄럽게 잘 달릴 수도 있고, 중간에 걸려 멈출 수도 있습니다. 어디에서, 왜 멈추는지 눈으로 볼 수 있죠.

인시던트용 태엽 정원은 이 아이디어를 신뢰성 연습에 그대로 적용합니다.

• 손으로 태엽을 감는(Hand‑cranked) 방식: 누군가가 직접 시간을 진행시키고, 이벤트를 주입하고, 새로운 “패킷 카드”를 건네주거나, 부하(load)를 나타내는 다이얼을 돌립니다.
• 종이 기반 시스템: 상태(state)는 대시보드 속에 숨겨지지 않고, 인덱스 카드, 포스트잇, 화이트보드 칸, 프린트된 다이어그램 위에 표시됩니다.
• 눈에 보이는 메커니즘: 큐, 백로그, 오류율, 의존 관계가 테이블 위에서 움직이는 토큰으로 표현됩니다.

이렇게 시스템의 거동을 물리적 공간에 외재화하면, 보이지 않던 실패 모드가 손으로 집어서 옮길 수 있는 객체가 됩니다. 토큰이 어디에 쌓이고, 어떻게 연쇄적으로 실패가 전파되는지, 그대로 눈앞에서 펼쳐지죠.

실패를 물리적으로 보이게 만들기

디지털 인시던트는 종종 이렇게 느껴집니다. 뭔가가 “느리다”, 어떤 서비스가 “건강하지 않다” 정도만 느껴지고, 실제로 어디에 에너지가 막혀 있는지 아무도 정확히 짚지 못합니다.

태엽 정원에서는, 단순화된 아날로그 아키텍처 모델을 구성합니다.

• 각 서비스는 테이블 위 카드나 타일 하나입니다.
• 의존성은 서비스 사이를 잇는 실(끈)이나 화살표입니다.
• 요청(request) 은 그 화살표를 따라 움직이는 토큰입니다.
• 용량 한계(capacity limit) 는 일정 개수의 토큰만 담을 수 있는 작은 그릇이나 격자입니다.
• 에러 상태는 색깔 펜이나 특별한 토큰(예: 5xx 오류를 나타내는 빨간 큐브)으로 표현합니다.

그 다음, 시간을 진행시키며 플레이합니다.

1. 퍼실리테이터가 매 라운드마다 요청 토큰을 추가하며 시스템을 “태엽 감듯” 동작시킵니다.
2. 플레이어들은 단순한 규칙(용량, 지연 시간, 재시도 등)에 따라 토큰을 움직입니다.
3. 퍼실리테이터는 실패 카드를 주입합니다. 예: 데이터베이스 디스크 문제, noisy neighbor, 잘못 구성된 롤아웃 등.
4. 모두가 토큰이 어떻게 쌓이고, 튕기고, 버려지는지 눈으로 지켜봅니다.

토큰이 쌓이는 지점이 곧 신뢰성이 멈추는 곳입니다. 사람들은 보드 주변에 둘러서서 그 병목을 손가락으로 가리키며 말할 수 있습니다.

“여기. 이 지점에서 우리가 통제력을 잃고 있어요.”

이 정도의 명료함은 대시보드 한 벽을 가득 채운 차트만으로는 얻기 어렵습니다.

촉각적 시뮬레이션과 Sim‑to‑Real 사고

로보틱스나 제어 시스템에서 sim‑to‑real 이란, 시뮬레이션에서 학습한 것을 실제 환경으로 전이시키는 개념입니다. 물리 로봇을 돌려 보면, 순수 소프트웨어 테스트만으로는 보이지 않던 마찰, 휨, 센서 노이즈 같은 문제가 드러납니다.

인시던트 연습도 같은 식으로 할 수 있습니다.

아날로그 촉각 시뮬레이션은 신뢰성 문제 주변에 일종의 고밀도 힘장(force field) 을 만들어 줍니다.

• 한 번에 너무 많은 토큰을 옮겨야 할 때, 실제로 손이 바빠지고 혼란스럽게 느껴집니다.
• 막힌 서비스 뒤에 토큰이 줄줄이 쌓이면, 압력이 축적되는 감각이 듭니다.
• 레이트 리미팅(rate limiting)은 토큰 이동을 의식적으로 제한해야 하는 ‘문’처럼 느껴집니다.

이것들은 단순한 은유가 아니라, 몸으로 느끼는 단서(embodied cue) 입니다. 나중에 실제 인시던트에 직면했을 때, 비슷한 패턴을 떠올리게 됩니다.

“메시지 큐 대시보드가, 연습 때 봤던 그 토큰 더미처럼 보이네. 아마 다운스트림 컨슈머가 굶거나 막혀 있을 거야.”

이렇게 손에 잡히는 아티팩트로 리허설을 할수록, 추상적인 메트릭을 물리적 직관과 연결하는 뇌의 회로가 훈련됩니다.

신뢰성을 위한 햅틱스: 실패에 ‘촉감’을 부여하기

햅틱스(haptics)는 촉감, 저항, 질감을 사용해 정보를 전달하는 분야입니다. 게임 컨트롤러는 진동하고, 자동차 페달은 발을 밀어 올립니다. 그렇다면 신뢰성 교육에도 비슷한 방식을 쓰지 못할 이유가 있을까요?

연습에서 ‘마찰(friction)’의 정도를 바꾸어, 서로 다른 유형의 인시던트를 표현할 수 있습니다.

• 명확하고 시끄러운 실패 (예: 전체 리전 장애)는 이렇게 표현할 수 있습니다.

  • 서비스 위에 올려두는 크고 눈에 잘 띄는 색깔 블록
  • 토큰이 절대 통과할 수 없는 완전 차단 상태
  • SLA가 깨질 때마다 크게 울리는 타이머나 종

• 미묘하고 스며드는 실패 (예: 메모리 릭, GC 일시중지, 부분 패킷 손실 등)는 이렇게 표현할 수 있습니다.

  • 세 번째 토큰마다 조용히 사라지는 규칙
  • “문제가 있는” 서비스 구간을 지날 때마다 토큰 이동에 작은 추가 동작을 요구
  • 보드 위 특정 임계치를 넘어서야 비로소 “릭이 있었다”는 사실을 드러내는 지연된 공개

• 운영상의 마찰(operational friction) (예: 느린 승인, 애매한 소유권 정렬 등)은 이렇게 표현할 수 있습니다.

  • 특정 움직임 전에 꼭 받아야 하는 “핸드오프 카드(인계 카드)” 서명
  • 인간의 주의를 나타내는 제한된 수의 “집중 토큰(focus token)”

이처럼 말 그대로 말판을 움직이는 난이도를 바꿈으로써, 각 실패 모드에 고유한 햅틱 시그니처를 부여할 수 있습니다. 참여자들은 어떤 인시던트는 벽에 정면 충돌하는 느낌이고, 어떤 인시던트는 진흙탕을 질질 끌려가는 느낌이라는 걸 몸으로 익히게 됩니다.

이 직관은 “SLO 위반 그래프”만으로는 거의 다듬어지지 않는 부분입니다.

실제 대응력을 위한 연습 구조 만들기

태엽 정원은 어디까지나 인시던트 대응 훈련이지, 단순한 게임이 아닙니다. 구조화되어 있어야 하고, 반복 가능해야 합니다.

1. 학습 목표 정의하기

   • 신호를 더 빨리 인지하는 것이 목표인가?
   • 팀 간 커뮤니케이션 연습이 우선인가?
   • 온콜 로테이션이나 에스컬레이션 트리를 스트레스 테스트하고 싶은가?

2. 역할 설정하기

   • 인시던트 커맨더(Incident Commander)
   • 오퍼레이션 / 대응자 (토큰을 움직이고, 완화 조치를 적용하는 사람들)
   • 커뮤니케이션 리드 (별도 보드에 상태 업데이트를 스크립트로 정리)
   • 옵저버 / 서기(scribe) (통찰과 타임라인을 기록)

3. 단계 표준화하기

   • 탐지(Detection): 초반에는 모호하게 시작합니다. 색이 다른 토큰이 몇 개만 등장한다든지.
   • 트리아지(Triage): 플레이어들은 물리적 상태를 보고 무엇이 문제인지 가설을 세웁니다.
   • 대응(Response): “트래픽 20% 셰딩”, “릴리즈 롤백” 같은 완화 카드로 조치를 취합니다.
   • 복구 & 리뷰(Recovery & Review): 몇 개의 토큰이 떨어졌는가? 어디에 쌓였는가? 커뮤니케이션 상의 공백은 어디서 나타났는가?

4. 변형 시나리오로 반복하기

   • 같은 시나리오에 다른 실패 인젝션을 섞어서 반복
   • 같은 실패이지만 팀 구성을 바꾸어 실행
   • 제한된 시간 안에 끝내도록 타임박싱해 압박감 부여

아날로그이면서도 시나리오가 스크립트화되어 있기 때문에, 몇 달 뒤에 같은 연습을 다시 돌려 보며 속도, 협력, 명료성이 얼마나 향상되었는지 측정할 수 있습니다.

테이블탑에 카오스 엔지니어링 주입하기

카오스 엔지니어링은 시스템이 스트레스 상황에서 어떻게 행동하는지 이해하기 위해 일부러 문제를 주입하는 실천입니다. 이 개념은 테이블탑 형식과 아주 잘 맞습니다.

먼저 카오스 카드(chaos card) 덱을 준비합니다. 예를 들면:

• “주 데이터베이스 레이턴시가 10분 동안 2배로 증가한다.”
• “DNS 미스컨피그레이션으로 사용자 30%가 영향을 받는다.”
• “한 가용 영역(AZ)이 사용 불가능해진다.”
• “알람 규칙이 지나치게 민감해져 노이즈성 알람이 쌓이기 시작한다.”
• “핵심 온콜 엔지니어가 5분간 응답 불가 상태다.”

연습 중에는 다음과 같이 진행합니다.

• 퍼실리테이터가 임의의 시점에 카드를 플레이합니다.
• 보드 상태를, 미리 정의한 단순 규칙에 따라 업데이트합니다.
• 참가자들은 실제 프로덕션에서 쓸 플레이북과 같은 방식으로 대응합니다.

시간이 지나면, 다음을 검증하는 준비된 신뢰성 실험 라이브러리를 갖추게 됩니다.

• 기술적 중복(redundancy)과 페일오버 경로
• 불완전한 정보 속에서의 의사결정
• 부하가 걸렸을 때 커뮤니케이션 채널의 탄력성

카오스 엔지니어링 개념과 아날로그 형식을 섞으면, 테이블탑이 단순한 이야기풀이가 아니라 구조화된 실험이 됩니다.

지식이 아닌 ‘근육 기억’을 쌓기

슬라이드 기반 인시던트 교육은 대개 지식 전달에 초점을 둡니다.

• “우리 인시던트 라이프사이클은 이렇습니다.”
• “에스컬레이션 경로는 이렇게 됩니다.”
• “체크리스트는 여기 있습니다.”

반면 태엽 정원은 근육 기억과 공유 직관에 초점을 둡니다.

• 커뮤니케이션이 기술적 조치보다 뒤처질 때, 어떤 느낌인지 몸으로 경험합니다.
• “아직 모릅니다”라고 말하면서도 결정을 내려야 하는 상황을 연습합니다.
• 물리 모델 속 초기 경고 신호를 찾아내는 법을 익히고, 그것이 실제 메트릭에서 어떤 패턴으로 나타나는지 연결합니다.

이 연습들이 기억에 남고, 구체적이며, 약간은 놀이 같기 때문에, 배운 내용이 오래 갑니다. 실제로 페이저가 울리는 순간, 누군가는 이렇게 떠올릴 것입니다.

“이건 우리가 연습했던 부분 장애 시나리오랑 비슷해. 그때 해결책은 에지에서가 아니라, 깊은 의존성 체인 안쪽에 있었지.”

이렇게 떠오른 패턴이 몇 분, 어쩌면 몇 시간을 아껴 줄 수 있습니다.

결론: 태엽을 감고, 어디서 멈추는지 보고, 함께 배워라

신뢰성은 주로 차트, SLO 수학, 아키텍처 다이어그램으로 가르쳐집니다. 물론 중요하지만, 실제 압박 상황에서 사람들의 행동을 바꾸기에는 충분하지 않은 경우가 많습니다.

아날로그 인시던트 스토리 태엽 정원 은 신뢰성 연습을 보고, 만지고, 느낄 수 있는 것으로 바꿉니다. 종이로 만든 시스템 모델을 손으로 태엽 감듯 돌리면서, 여러분은 다음을 얻습니다.

• 보이지 않던 실패 모드를 모두가 공유하는 물리적 공간에 드러내기
• 실패와 운영 마찰의 서로 다른 ‘질감’을 실험해 보기
• 카오스 엔지니어링 아이디어를 부담 없는 테이블탑 연습에 통합하기
• 인시던트를 인지하고, 트리아지하고, 소통하고, 해결하는 실제 근육 기억 쌓기

현재 인시던트 교육이 건조하거나 효과가 없다고 느껴진다면, 아날로그로 전환해 보세요. 아키텍처를 테이블 위에 펼치고, 사람들 손에 토큰을 쥐여 주세요. 시스템에 태엽을 감고, 어디에서 걸리는지 지켜보세요.

그 지점이 바로, 여러분의 신뢰성 연습이 시작되어야 할 곳입니다.