소개

대부분의 인시던트 플레이북은 도구, 대시보드, 위키, 채팅 시스템이 모두 멀쩡히 돌아가는 세상을 전제합니다. 하지만 인시던트 자체가 바로 핵심 시스템이 불타는 것이거나, SSO가 죽고, 위키에 접속할 수 없고, 채팅이 끊겼다 이어졌다 한다면, 잘 정리된 온라인 플레이북은 그 순간부터 사실상 쓸모가 없어집니다.

여기서 등장하는 것이 **인덱스 카드 워 룸(Index Card War Room)**입니다. 인덱스 카드와 벽·화이트보드·테이블을 기반으로 한, 의도적으로 오프라인인 물리적 인시던트 플레이북입니다. 그냥 아날로그 감성을 위한 연극이 아닙니다. 회복탄력성을 위한 패턴입니다.

이 글에서는 NIST 스타일의 인시던트 아키타입(incident archetype)에 맞춰 인덱스 카드 기반 인시던트 플레이북을 설계하고 사용하는 방법, 스트레스 상황에서 인지 성능에 왜 중요한지, 그리고 물리적 워 룸이 어떻게 공통 상황 인식과 대응 속도를 끌어올리는지 살펴보겠습니다.

클라우드 퍼스트 시대에도 오프라인이 여전히 중요한 이유

복잡한 시스템에서는 장애가 예의 바르게 한 곳에만 머물러주지 않습니다. 뭔가 잘못되기 시작하면, 종종 대응을 위해 의존하던 도구들까지 연쇄적으로 영향을 받습니다.

예를 들어:

• 위키나 런북 시스템이, 지금 죽어 있는 SSO 뒤에 숨어 있다.
• 채팅 플랫폼이 성능 저하 중이거나 레이트 리밋에 걸려 있다.
• 모니터링·관측(Observability) 또는 티켓팅 도구가 같은 장애의 영향을 받고 있다.
• 네트워크 세그멘테이션이나 VPN 문제로 내부 리소스 접근이 막혀 있다.

온라인 플레이북에만 의존한다는 것은, 조직의 컨트롤 플레인이 항상 사용 가능하다고 가정하는 셈입니다. 이건 지나치게 낙관적입니다. 그리고 낙관주의는 전략이 아닙니다.

의도적으로 오프라인인 플레이북은 최후의 통제 수단(last-resort control surface) 역할을 합니다. 다른 모든 것이 망가져도, 벽에 붙은 카드들은 여전히 작동합니다. 이 카드는:

• 인증도, 네트워크도 필요 없습니다.
• 페이지 로딩, 장애, 도구 잠김(tool lockout)의 영향을 받지 않습니다.
• 집어 들고, 정렬하고, 메모하고, 넘겨주기가 매우 쉽습니다.

이건 시대에 뒤떨어진 방식이 아니라, 오히려 회복탄력성 업그레이드입니다. 인시던트 조정 과정에서 거대한 단일 장애 지점을 하나 제거하는 셈이기 때문입니다.

NIST 스타일 인시던트 아키타입: 경직되지 않은 구조 만들기

카드 몇 장 쌓아두었다고 플레이북이 되지는 않습니다. 가치는 그 뒤에 있는 구조에서 나옵니다. 여기서 도움이 되는 것이 바로 NIST 스타일 인시던트 아키타입입니다.

NIST 인시던트 처리 가이드는 일반적으로 다음과 같은 라이프사이클을 따릅니다.

1. 준비(Preparation)
2. 탐지 및 분석(Detection and Analysis)
3. 격리, 근절, 복구(Containment, Eradication, and Recovery)
4. 사후 활동(Post-Incident Activity)

이를 뼈대로 사용해 조직 환경에서 자주 반복되는 패턴, 즉 **인시던트 아키타입(Incident Archetype)**을 정의할 수 있습니다. 예를 들면:

• 인증 / SSO 장애
• 데이터 스토어 성능 저하 (예: DB 지연, 부분 장애)
• 네트워크 단절 또는 DNS 장애
• 랜섬웨어 또는 침해 의심 사고
• 배포 이후 발생한 대규모 성능 저하

각 아키타입마다 다음을 정의합니다.

• 진입 조건(Entry conditions) – 이 시나리오에 들어왔다고 판단하는 기준
• 핵심 리스크(Key risks) – 무엇이 위험한지 (데이터 손실, 다운타임, 평판, 안전 등)
• 표준 대응책(Standard countermeasures) – 가장 신뢰할 수 있는 초기 대응
• 결정 체크포인트(Decision checkpoints) – 상황을 재평가하고, 에스컬레이션이나 방향 전환을 고려해야 하는 지점

이 요소 각각이 하나 또는 여러 장의 인덱스 카드가 됩니다. 포맷은 팀 전체가 공유하는 일관된 형식을 따릅니다. 이렇게 하면 물리적인 형태로, 감사 가능하고, 재현 가능한 인시던트 처리 경로를 만들 수 있고, 이것이 기존 표준과도 깔끔하게 매핑됩니다.

이 아키타입들이 NIST와 유사한 구조에 정렬되어 있으면 다음과 같은 이점이 생깁니다.

• 감사인이나 규제 기관에 설명하기가 훨씬 쉽습니다.
• 임기응변식이 아니라, 빠뜨린 부분이 적고 더 포괄적입니다.
• 새로운 위협에도 쉽게 변형·확장할 수 있는 안정적인 뼈대를 제공합니다.

런북을 ‘쌓을 수 있는 인덱스 카드’로 바꾸기

전통적인 런북은 종종 짧은 소설처럼 보입니다. 배경 설명, 예외 케이스, 조건 분기, 주의 사항이 길게 늘어선 문서죠. 새벽 3시에 이런 문서를 읽어야 하면, 그건 **인지 독(poison)**에 가깝습니다.

온콜 담당자는 보통 다음과 같은 조건에서 일합니다.

• 언제 깨울지 모르는 예측 불가능한 호출
• 수면 분절과 부족
• 높은 스트레스와 시간 압박

이런 조건에서는 인지 기능이 크게 떨어집니다. 기억력, 주의력, 판단력이 모두 손상됩니다. 해결책은 기억과 즉흥적 판단에 덜 의존하고, 대신 다음을 극대화하는 것입니다.

• 외부화된 단계 정리
• 명확한 다음 액션
• 단순한 분기 규칙

인덱스 카드는 여기에 아주 잘 맞습니다. 각 카드는 제한된 작은 공간 안에, 하나의 개념이나 액션만을 담습니다.

전형적인 카드는 이런 식으로 구성할 수 있습니다.

앞면:

• 제목: “격리: SSO 장애”
• 사용 시점: “대부분 사용자에게 SSO 로그인 실패 발생, 여러 리전 영향, 일시적 단절로 보이지 않을 때.”

뒷면:

• 1단계: 비필수 의존 서비스 비활성화 (목록 기재).
• 2단계: 백업 인증 경로 활성화 (짧은 URL 또는 전화번호 기재).
• 3단계: 내부 공지 채널 및 상태 페이지에 공지.
• 4단계: 보드에 “SSO Outage – Containment in Progress(SSO 장애 – 격리 진행 중)” 카드 부착.

이렇게 카드를 조합하고 쌓으면, 복잡한 플로우를 레고 블록처럼 모듈화할 수 있습니다.

• 하나의 카드는 트리아지.
• 또 다른 카드는 격리 전략 A.
• 또 다른 카드는 대체 전략 B.
• 또 다른 카드는 커뮤니케이션.

상황이 바뀌면? 카드를 교체하면 됩니다. 에스컬레이션이 필요하면? 맨 위에 에스컬레이션 카드를 추가하면 됩니다. 의사결정 피로가 줄어드는 이유는, 시스템이 스스로 ‘다음 2–3수’를 제안해 주기 때문입니다. 대응자가 머릿속에서 복잡한 분기 다이어그램을 따라갈 필요가 없습니다.

물리적 워 룸: 인시던트를 ‘보이게’ 만들기

심각한 인시던트에서 가장 어렵고도 중요한 문제는 종종 기술적인 것이 아니라 **공유된 상황 인식(shared situational awareness)**입니다. 모두가 알고 싶어 합니다.

• 지금 무슨 일이 벌어지고 있는가?
• 누가 무엇을 하고 있는가?
• 현재 계획은 무엇인가?
• 무엇이 막혀 있거나 대기 중인가?

물리적 워 룸 보드는 인시던트 상태를 시각적으로, 지속적으로 공간에 드러냅니다. 방 안에 있는 모두가 (심지어 화상 회의로 카메라를 비추더라도) 한눈에 볼 수 있습니다.

간단한 레이아웃은 다음과 같을 수 있습니다.

• 인시던트 헤더: 인시던트 이름, 심각도, 시작 시간, 인시던트 커맨더(IC), 서기(스크라이브)
• 타임라인 스트라이프: 주요 이벤트를 나타내는 카드를 붙여 두는 공간
• 역할별 스윔레인(Swimlane): 예를 들어
  • Incident Commander
  • Comms Lead (커뮤니케이션 리드)
  • Tech Lead – 서비스 A
  • Tech Lead – 서비스 B
• 작업 상태별 컬럼:
  • Inbox / To Triage (인박스 / 트리아지 필요)
  • In Progress (진행 중)
  • Blocked / Waiting (차단 / 대기 중)
  • Done / Verified (완료 / 검증됨)

각 인덱스 카드는 작업이 진행됨에 따라 보드 위에서 이동합니다. 책임은 눈에 보입니다. “In Progress(진행 중)” 컬럼에 소유자 없이 떠 있는 액션 카드가 있다면, 그게 바로 한눈에 보이는 문제입니다.

이 방식의 장점:

• 중간에 합류하는 사람의 온보딩 속도 향상 – 보드 한 번 보는 것만으로도 인시던트의 흐름을 파악할 수 있습니다.
• 말로 하는 상태 공유 부담 감소 – 반복적인 상태 질문과 설명이 줄어듭니다.
• 더 나은 조율 – 충돌과 누락된 영역이 공간적으로 드러납니다.

그리고 협업 도구가 완전히 망가져도, 이 핵심 조율 메커니즘은 아무것도 깨지지 않습니다. 여전히 벽은 남아 있고, 카드는 그대로 작동합니다.

템플릿과 일관성: 여러 팀으로 확장하기

팀마다 저마다의 인시던트 프로세스를 만든다면, 그것은 인시던트 대응 시스템이 아니라 일종의 **전승 설화(folklore)**에 가깝습니다.

인시던트 관리 템플릿과 플레이북은 확장 가능한, 반복 가능한 프레임워크를 제공합니다.

• 여러 팀이 공유하는 일관된 인시던트 라이프사이클
• 재사용 가능한 카드 템플릿:
  • 트리아지
  • 격리(Containment)
  • 근본 원인 탐색(Root cause exploration)
  • 커뮤니케이션(내부/외부)
  • 사후 리뷰(Post-incident review)
• 표준화된 역할 정의 (IC, 서기, 커뮤니케이션 리드, 기술 리드 등)

이 일관성은 다음을 개선합니다.

• 커뮤니케이션: 다른 팀 사람들과도 같은 ‘인시던트 언어’를 쓰게 됩니다.
• 협업: 새로운 대응자가 어디에 어떻게 합류하면 되는지 명확해집니다.
• 해결 속도: 프로세스를 협상하느라 쓰는 시간을 줄이고, 실제 문제 해결에 더 많은 시간을 쓸 수 있습니다.

오프라인 인덱스 카드 시스템은 온라인 도구를 대체하는 것이 아닙니다. 오히려 온라인 도구들이 올라탈 수 있는 공통 백본을 정의하는 것입니다. 도구가 있을 때는 도구를 더 잘 쓰게 해 주고, 도구가 없을 때도 뼈대만큼은 남아 있게 해 줍니다.

디자인 사이언스 리서치: 실제 인시던트에서 출발하기

많은 인시던트 플레이북이 ‘한 번 쓰고, 다시는 안 보는 문서’로 죽어갑니다. 한 번에 크게 써놓고, 현실과 단절된 채 업데이트되지 않기 때문입니다.

여기에 디자인 사이언스 리서치(Design Science Research, DSR) 관점을 적용하면 접근법이 달라집니다. “큰 문서 한 번 써놓고 기도하기” 대신, 다음과 같이 움직입니다.

1. 최근 인시던트에서 발생한 실제 문제를 식별합니다. (예: 역할이 불분명했다, 의사결정이 늦었다, 에스컬레이션 경로가 불명확했다 등)
2. 그 문제를 해결하기 위한 **아티팩트(artifact)**를 설계·개선합니다. (새 카드, 새로운 아키타입, 업데이트된 템플릿 등)
3. 이를 실제 인시던트나 게임데이(시뮬레이션)에 적용해 평가합니다.
4. 무엇이 잘 작동했고, 무엇이 안 되었는지 기반으로 반복 개선(Iterate) 합니다.

시간이 지날수록, 인덱스 카드 플레이북은 살아 있는 인시던트 대응 시스템으로 진화합니다.

• 실제로 쓰이지 않는 카드는 과감히 제거합니다.
• 배운 것에 따라 아키타입을 쪼개거나 합칩니다.
• 사람들이 머뭇거리던 부분은 문구를 더 명확하게 다듬습니다.

DSR의 핵심 질문은 항상 같습니다. “이것이 실제 사람들에게 실제 인시던트를 더 잘 처리하는 데 도움이 되었는가?” 입니다. *“문서상으로 포괄적으로 보이는가?”*가 아닙니다.

시작하기: 나만의 워 룸을 만드는 최소 경로

6개월짜리 대형 프로젝트로 시작할 필요는 없습니다. 현실적으로 시작하는 방법은 이렇습니다.

1. 조직에서 자주 발생하는 인시던트 아키타입 3–5개를 고릅니다.
2. 각 아키타입마다 다음을 작성합니다.
   • 탐지 & 트리아지(Detection & Triage) 카드 1장
   • 격리(Containment) 카드 1장
   • 커뮤니케이션(Comms) 카드 1장
3. 온콜 팀 근처의 회의실이나 공간에 간단한 보드 레이아웃을 만듭니다.
4. 다음 실제 인시던트나 게임데이에서 이 보드와 카드를 사용해 봅니다.
5. 이후, **플레이북만을 주제로 한 짧은 회고(레트로)**를 합니다.
   • 어떤 카드가 도움 되었는가?
   • 어디서 사람들이 즉흥적으로 다른 행동을 했는가?
   • 무엇이 빠져 있었는가?
6. 카드를 업데이트합니다. 그리고 반복합니다.

몇 번의 사이클만 거쳐도, 생각보다 견고하고, 사용하기 자연스러운 오프라인 시스템이 만들어집니다.

결론

현대 인시던트는 점점 더 **복잡하고, 고통스럽고, 사회기술적(socio-technical)**입니다. 사람, 도구, 정책, 인프라가 함께 실패하거나, 혹은 함께 여러분을 살려냅니다.

의도적으로 오프라인인 인덱스 카드 기반 인시던트 플레이북은 과거로의 회귀가 아닙니다. 다음과 같은 현실에 대한 실용적인 적응입니다.

• 도구와 네트워크의 취약성
• 온콜 환경에서의 인간 인지 능력 한계
• 감사 가능하면서도 구조적이고, 동시에 유연한 대응 패턴에 대한 요구

카드를 NIST 스타일 인시던트 아키타입에 정렬하고, 복잡한 런북을 작고 쌓을 수 있는 액션들로 쪼개고, 물리적 워 룸에서 작업 상태를 가시화하면, 다른 모든 것이 망가져도 계속 작동하는 대응 시스템을 만들 수 있습니다.

그리고 플레이북을 지속적으로 실전에서 시험하고 다듬어 가는 디자인 아티팩트로 취급하면, 상상의 산물이 아니라 실제 인시던트와 함께 성장하는 시스템이 됩니다.

다음에 인시던트 프로세스를 설계할 때, 스스로에게 이렇게 물어보면 됩니다. “모든 시스템이 다운돼도, 우리는 이 프로세스를 그대로 운영할 수 있는가?” 만약 답이 “아니다”라면, 지금이 바로 여러분 조직만의 인덱스 카드 워 룸을 만들 때일지 모릅니다.