종이부터 시작하는 인시던트 정원 철도: 손수 만든 선로 위에서 신뢰성 의식을 키우기

신뢰성은 회의실 슬라이드 덱 위에서 만들어지지 않습니다.

신뢰성은 길러지는 것입니다.

정원처럼. 마당에 깔리기 전에 먼저 부엌 식탁 위에서 만들고 시험해 보는 수제 모형 철도처럼요.

이 글에서는 **종이부터 시작하는 인시던트 테이블탑 연습(incident tabletop exercise)**을 어떻게 팀의 “인시던트 정원 철도”로 만들 수 있는지 살펴보겠습니다. 즉, 실제 프로덕션 압박이 오기 훨씬 전에, 신뢰성 관련 의식(rituals)을 설계·시험·다듬어 가는 단순하고 저렴한 방법입니다.

테이블탑 연습이 무엇인지, 어떻게 진행하는지, 그리고 조직이 신뢰성을 대하는 방식을 ‘건축가’가 아니라 ‘정원사’ 관점으로 바꾸면 무엇이 달라지는지를 차근차근 알아보겠습니다.

거대한 청사진에서 종이 선로로

많은 조직은 인시던트 대응 프로그램을 마치 고속 열차를 설계하듯 시작합니다.

거창한 계획
두꺼운 문서
복잡한 툴과 자동화
역할과 책임을 정리하는 긴 회의

하지만 첫 번째 대형 장애가 터지는 순간, 그 공들인 아키텍처는 현실과 정면으로 부딪힙니다.

지금 실제로 누가 총괄 책임자인가?
누가 고객과 소통하고 있지?
어느 채널을 써야 하지?
이 시스템을 누가 재시작해도 되는 거지?

계획은 종이 위에서는 멀쩡해 보이지만, 실제로 살아본 적이 없습니다.

더 나은 접근법은 훨씬 작고 손으로 만질 수 있는 것부터 시작하는 겁니다. 식탁 위에 종이로 만드는 정원 철도를 까는 것처럼요.

코드 없음
자동화 없음
페이저(pager) 연동 없음

오직 사람, 시나리오, 시간 압박, 그리고 지금 쓰고 있는 인시던트 프로세스를 인쇄한 종이만 있으면 됩니다.

바로 이것이 **인시던트 테이블탑 연습(incident tabletop exercise)**가 제공하는 것입니다.

테이블탑 연습이란? (왜 싸고 강력한가)

인시던트 테이블탑 연습은 가상의 장애·위기 시나리오를 두고, 여러 사람이 함께 “우리가 어떻게 대응할지”를 단계별로 걸어가 보는 저비용·저위험 시뮬레이션입니다.

이렇게 생각해도 좋습니다.

“다음에 올 큰 인시던트”를, 실제로 오기 전에 미리 롤플레이 해 보는 것.

핵심 특징은 다음과 같습니다.

저비용: 퍼실리테이터, 참가자, 시나리오, 그리고 30–60분만 있으면 됩니다.
저위험: 실제 시스템은 건드리지 않습니다. 실수는 커리어 리스크가 아니라 학습 기회입니다.
시간 제한: 보통 30분 내외의 집중 시뮬레이션 + 15–30분의 회고로 구성합니다.
종이 우선(paper-first): 도구나 대시보드가 아니라, 계획·의사결정·커뮤니케이션에 초점을 둡니다.

왜 중요한가?

현재 인시던트 대응·신뢰성 계획이 얼마나 효과적인지 평가할 수 있습니다.
실제 장애 전에, 커뮤니케이션·조율·의사결정의 빈틈을 미리 드러냅니다.
실제 알람이 울릴 때, 모두가 처음부터 임기응변하지 않도록 **공유된 근육 기억(shared muscle memory)**을 만듭니다.

다시 말해, 테이블탑은 첫 번째 선로를 까는 과정입니다. 가볍게, 되돌리기 쉽게, 그리고 저렴하게요.

인시던트를 ‘불’이 아닌 ‘정원’으로 대하기

대부분의 팀은 인시던트를 집에 난 불처럼 대합니다.

뭔가 타기 시작할 때까지 기다립니다.
그때서야 허둥지둥 뛰어다닙니다.
“다시는 이런 일 없게 하겠습니다.”라고 약속합니다.
길고 거창한 포스트모템(postmortem)을 씁니다.

그리고 그냥 다음 불이 날 때까지 넘어갑니다.

하지만 신뢰성은 한 번의 영웅적 대응이나 단발성 계획이 아니라, 지속적·반복적인 연습으로 향상됩니다. 그래서 **인시던트 정원(incident garden)**이라는 메타포가 유용합니다.

한 번 심고 “끝났다”고 선언하지 않습니다.
잡초를 뽑고, 물을 주고, 가지를 치고, 다시 심습니다.
우리 조직의 환경에서 무엇이 잘 자라는지 관찰합니다.
“영원히 끝난 상태”는 없고, 점점 더 **회복 탄력성(resilience)**이 커질 뿐이라는 걸 인정합니다.

테이블탑 연습은 곧 정원을 돌보는 시간입니다. 매번 이런 기회를 갖게 됩니다.

커뮤니케이션의 잡초를 뽑고,
런북(runbook)·체크리스트·자동화 같은 새로운 지지 구조를 추가하고,
온콜 체계, 도구, 조직 구조 같은 현재 환경이 실제로 성장을 뒷받침하는지 시험해 봅니다.

여기에 철도(railway) 메타포를 더하면 더 명확해집니다. 시간에 따라, 우리는 단지 씨앗만 심는 게 아니라, 인시던트가 **예측 가능하고 연습된 방식으로 흘러갈 수 있는 “신뢰할 수 있는 선로”**를 천천히 깔아 가는 것입니다.

종이부터 시작하는 인시던트 철도 만들기

이제 좀 더 구체적으로 보겠습니다. 단순하면서 반복 가능한 테이블탑 실천을 어떻게 세팅할 수 있을까요?

1. 단순한 시나리오 정의하기

현실적이지만, 세상이 무너질 정도는 아닌 상황부터 시작하세요. 예를 들어:

“피크 트래픽 시간에 기본 데이터베이스가 read-only 모드가 된다.”
“결제 서비스 제공업체가 간헐적으로 에러를 반환하기 시작한다.”
“한 리전에 있는 중요 내부 서비스가 장애가 난다.”

시나리오는 다음을 포함해야 합니다.

트리거(Trigger): 가장 처음 무엇을 보게 되나요? (페이저 알람, 슬랙 메시지, 고객 문의, 대시보드 경고 등)
시간에 따른 증상 변화: 5, 15, 30분이 지날수록 상황이 어떻게 악화·변화하나요?
불확실성: 정답이 아니라 힌트를 줍니다. 퍼즐을 푸는 게 목적이 아니라, 프로세스를 연습하는 것이 목적입니다.

2. 적절한 사람들 모으기

작은 규모의 테이블탑(30–45분)을 위한 구성은 보통 이렇습니다.

1명의 퍼실리테이터(facilitator): 시나리오를 제시하고 시간을 관리합니다.
4–8명의 참가자. 이상적으로는 다음이 포함되면 좋습니다.
- 온콜 엔지니어 또는 SRE
- 팀 리드 혹은 엔지니어링 매니저
- 고객 지원 / 커스터머 석세스 담당자
- 필요하다면 프로덕트 담당자나 인시던트 커맨더(incident commander) 역할

구성이 중요합니다. 우리는 개개인이 어떻게 디버깅하는지보다, 사람들이 어떻게 함께 조율하는지를 시험하는 것입니다.

3. 기본 규칙 세우기

시작하기 전에 기대치를 분명히 합니다.

여기는 실수해도 안전한 공간입니다.
순수한 기술 해결이 아니라, 커뮤니케이션과 의사결정을 연습하는 시간입니다.
시간은 **압축(compressed)**되어 있습니다. 퍼실리테이터가 “지금은 인시던트 발생 20분 후입니다.”라고 말하면, 모두 그에 맞춰서 연기합니다.

그리고 사용할 도구들을 테이블 위에 올려둡니다.

인시던트 대응 런북(runbook) 또는 체크리스트
커뮤니케이션 채널(슬랙, 이메일, 상태 페이지 운영 정책 등)
사용하는 표준 역할(인시던트 커맨더, 서기/스크라이브, 테크 리드, 대외 커뮤니케이션 담당 등)

4. 인시던트를 “연기”하기

이제 퍼실리테이터가 시나리오를 단계별로 안내합니다. 팀은 실제 상황처럼 대응합니다.

인시던트는 어떻게 선언합니까?
누가 인시던트 커맨더입니까?
어디에서 협업합니까? (슬랙 채널? 줌 콜?)
언제, 누구에게 에스컬레이션합니까?
언제, 어떻게 외부(고객·이해관계자)와 커뮤니케이션합니까?

퍼실리테이터는 시간이 지날수록 새로운 정보를 추가합니다.

“5분이 지나자 에러율이 2배로 증가합니다.”
“지원팀에서 주요 고객 3곳이 영향을 받고 있다고 보고합니다.”
“임원 한 명이 ETA를 물으며 메시지를 보냈습니다.”

참가자들은 각 단계에서 무엇을 할지 구체적으로 말합니다. 런북을 참고하고, 결정을 내리고, 자신이 할 행동을 소리 내어 설명합니다.

지금 우리는 종이로 만든 기차를 종이 선로 위에서 굴리며, 어디에서 탈선하는지를 보고 있는 셈입니다.

5. 변주를 주어 다시 반복하기

한 번만 진행해도 도움은 되지만, 같은 시나리오를 약간씩 바꿔서 여러 번 돌릴 때 진짜 인사이트가 나옵니다.

인시던트 커맨더가 다른 사람일 때
1차 온콜이 이제 막 들어온 신규 입사자일 때
업무 시간 외에 인시던트가 발생했을 때
주요 커뮤니케이션 도구(예: 슬랙)를 사용할 수 없을 때

같은 시나리오를 반복하면 이런 것들이 드러납니다.

특정 사람에게 과도하게 의존하는 숨은 의존성
특정 도구나 시간대에 기대고 있는 취약한 가정들
우리 프로세스가 실제로 얼마나 **적응력(adaptability)**이 있는지

매 반복은 정원을 도는 기차의 또 다른 한 바퀴입니다. 약점은 추상적인 우려가 아니라, 모두가 몸으로 느끼는 마찰로 바뀝니다.

문서만 봐서는 결코 알 수 없는 것들

테이블탑 연습을 정기적으로 돌리다 보면, 몇 가지 패턴이 보이기 시작합니다.

커뮤니케이션의 빈틈
- 사람들이 어떤 채널을 써야 할지 모릅니다.
- 이해관계자들이 상황을 모르고 방치됩니다.
- 상태 업데이트가 들쭉날쭉하거나 아예 없습니다.
조율 문제
- 두 사람이 동시에 자신이 인시던트 커맨더라고 생각하거나, 아무도 맡지 않기도 합니다.
- 지원팀은 언제 고객을 업데이트해도 되는지 모릅니다.
- 엔지니어들이 디버깅은 하지만, 진행 상황을 소리 내어 공유하지 않습니다.
의사결정 문제
- 누가 롤백을 승인할 수 있는지 아무도 모릅니다.
- 가용성 vs. 데이터 일관성 vs. 고객 영향 같은 트레이드오프가 불분명합니다.
- “혹시 스스로 나아질지도 모른다”며 에스컬레이션을 미룹니다.

이런 문제들은 종이 위에서 고치면 매우 싸지만, 프로덕션에서 처음 마주치면 대단히 비싸게 먹힙니다.

테이블탑 이후의 회고는 곧 **정원 일지(gardening notebook)**가 됩니다.

“간단한 인시던트 역할 카드가 필요하다.”
“기본 슬랙 채널 네이밍 규칙을 정해야겠다.”
“상태 페이지를 언제·어떻게 업데이트할지 한 페이지짜리 가이드를 만들자.”

시간이 지나면, 이 노트는 실제 인시던트를 더 차분하고 예측 가능하게 만드는 작지만 잘 가꿔진 의식과 도구의 생태계로 자라납니다.

의식(Rituals): 정원 아래 숨은 선로

도구도 중요하지만, 일이 틀어질 때는 **의식(rituals)**이 더 중요합니다.

테이블탑 연습은 다음과 같은 단순하지만 강력한 인시던트 의식을 표준화하는 데 큰 도움을 줍니다.

일찍 선언하기(Declare early): 인시던트에 이름을 붙이고, 채널을 만들고, 역할을 지정합니다.
시간 제한 업데이트(Time-bounded updates): 10–15분마다, 알려진 것/모르는 것/다음 단계 세 가지를 업데이트합니다.
단일 진실의 원천(Single source of truth): 모든 핵심 결정을 기록하는 라이브 로그나 문서를 유지합니다.
집중력 보호(Protect focus): 한 사람은 조율에 전념하고, 다른 사람들은 잡음을 최소화합니다.
사후 성찰(Post-incident reflection): 비난이 아니라 학습에 초점을 둔 짧고 구조화된 회고를 진행합니다.

이런 의식이 바로 인시던트 기차가 달리는 **선로(track)**입니다. 긴장한 상태에서 모든 것을 처음부터 즉흥으로 해내지 않아도 되도록 도와줍니다.

그리고 이런 의식은 여러 번의 작고, 종이부터 시작하는 연습을 통해 자라나기 때문에, 위에서 내려온 강제 규칙이 아니라 몸에 밴 습관처럼 느껴집니다.

결론: 종이부터 시작해, 철도를 키워라

완벽한 인시던트 대응 시스템이 필요한 게 아닙니다. 연습된 시스템이 필요합니다.

인시던트를 정원처럼 — 계속 가꾸고, 다시 들여다보고, 조금씩 개선해 가야 하는 것으로 — 바라보고, 종이부터 시작하는 테이블탑 연습을 정원 철도처럼 활용하면 다음과 같은 효과를 얻게 됩니다.

추상적인 인시던트 계획을 실제 경험으로 바꿉니다.
커뮤니케이션과 조율의 빈틈을, 아직 고치기 쉬울 때 드러냅니다.
실제 인시던트를 더 차분하고 효과적으로 만드는 공유된 의식과 습관을 만듭니다.

이번 주에 바로 시작할 수 있습니다.

30분짜리 시나리오 하나.
사람 몇 명.
퍼실리테이터 한 명과 타이머 하나.

짧은 종이 선로 한 줄을 까세요.

그리고 또 한 줄.

시간이 지나고 나면 이렇게 말하게 될 겁니다. 우리가 키운 건 단순한 문서 뭉치가 아니라고요. 날씨가 험해져도 기차를 계속 달리게 할 줄 아는, 연습된·탄탄한 인시던트 대응 문화를 키운 것이라고요.