아날로그 인시던트 스토리 서랍 미로: 복잡한 장애 대응을 안내하는 물리적 파일링 시스템 설계하기

시스템에 불이 난 상황에서, 우리가 제일 마지막으로 하고 싶은 일은 필요한 정보를 여기저기서 뒤지는 일입니다.

하지만 많은 조직에서는 중요한 지식이 흩어진 PDF, 희미한 기억의 Slack 스레드, 오래된 바인더, 누군가의 개인 노트 속에 숨어 있습니다. 복잡한 장애가 터지면, 대응자들은 올바른 절차서, 다이어그램, 연락처 하나 찾느라 소중한 시간을 허비하게 됩니다.

만약 인시던트 관련 자료를 보관하는 물리적인 공간 자체가, 미로처럼 사람을 가두는 것이 아니라 밖으로 이끌어 내는 길처럼, 대응 과정을 단계별로 안내해 줄 수 있다면 어떨까요?

이것이 바로 **아날로그 인시던트 스토리 서랍 미로(Analog Incident Story Drawer Maze)**의 개념입니다. 이는 디지털 인시던트 관리 흐름을 물리적으로 구현한 정교한 파일링 시스템으로, 탐지에서부터 해결, 사후 분석(postmortem)에 이르기까지 팀이 한 걸음씩 나아가도록 도와줍니다.

인시던트 대응은 체크리스트가 아니라 ‘이야기’ 흐름이다

잘 설계된 인시던트 대응 프로세스는 단순한 런북이나 에스컬레이션 트리가 아닙니다. 그것은 **하나의 서사 구조(내러티브)**입니다.

1. 탐지(Detection) – 무언가 이상해 보입니다. 알람이 울리고, 고객이 문제를 제기하고, 대시보드가 빨갛게 변합니다.
2. 트라이아지 & 조정(Triage & Coordination) – 누가 참여해야 할까요? 얼마나 심각할까요? 첫 번째 조치는 무엇일까요?
3. 조사 & 완화(Investigation & Mitigation) – 실패 지점은 어디인가? 지금 당장 영향을 줄이기 위해 무엇을 할 수 있는가?
4. 해결 & 복구(Resolution & Recovery) – 어떻게 정상 서비스를 복구하고, 안정성을 검증할 것인가?
5. 포스트모템 & 학습(Postmortem & Learning) – 실제로 무슨 일이 벌어졌는가? 다음에 비슷한 일이 생기면 어떻게 예방하거나 영향을 줄일 것인가?

Pager 시스템, 티켓 시스템, Slack 봇, 대시보드와 같은 디지털 인시던트 도구들은 이 흐름을 지원하도록 설계되어 있습니다. 하지만 고스트레스 상황에서는 물리적 시스템이 의외로 강력한 힘을 발휘합니다. 눈에 잘 보이고, 함께 공유할 수 있고, 손으로 만질 수 있으며, 심지어 지금 장애가 난 그 인프라에 의존하지 않기 때문입니다.

“스토리 서랍 미로”는 여러분의 파일링 시스템을 인시던트 대응 내러티브를 물리적으로 구현한 구조물로 바꾸는 아이디어입니다.

‘블레이멀리스 포스트모템’이 서랍 속에 있어야 하는 이유

인시던트 대응이 ‘움직이는 이야기’라면, 포스트모템은 그 이야기를 되돌아보는 과정입니다.

블레이멀리스(blameless, 비난 없는) 포스트모템이 중요한 이유는 다음과 같습니다.

• 개인이 아니라 시스템과 프로세스에 초점을 맞춥니다.
• 사람들에게, 압박 속에서 실제로 어떤 생각을 했고 무엇을 했는지 솔직하게 기록하도록 장려합니다.
• 시스템과 팀이 실제로 어떻게 동작하는지에 대한 더 좋은 데이터를 제공합니다.

아날로그 인시던트 서랍 미로는 다음을 쉽게 할 수 있게 해주어야 합니다.

• 포스트모템 보고서를 일관된 형식으로 보관하기.
• 이를 런북, 다이어그램, 위협 카테고리와 상호 참조하기.
• 새로운, 유사한 장애가 발생했을 때 과거 인시던트를 빠르게 다시 찾아보기.

즉, 각 장애는 **하나의 ‘스토리 파일’**을 남깁니다. 이는 누군가를 탓하기 위한 기록이 아니라, 다시 활용 가능한 학습 아티팩트입니다. 이런 아티팩트는 마땅히 전용의, 잘 정리된 물리적 공간을 차지해야 합니다.

스토리 서랍 미로 설계하기

파일 캐비닛을 반드시 출구가 있는 미로라고 생각해 봅시다. 어디에서 시작하든, 최종적으로는 다음으로 이끌려야 합니다.

1. 지금 다루고 있는 것이 어떤 종류의 인시던트인지 이해하고,
2. 적절한 플레이북과 런북을 찾고,
3. 무엇을 시도했고 무엇을 배웠는지 기록할 수 있도록.

1단계: 명확한 위협 분류 체계(Threat Taxonomy) 만들기

복잡한 장애는 하나의 박스에 딱 들어맞는 경우가 드뭅니다. 그럼에도 실용적인 **위협 분류 체계(threat taxonomy)**는 공통된 출발점과 언어를 제공합니다.

상위 레벨에서는 다음 네 가지 대분류를 둘 수 있습니다.

1. 자연 재해(Natural Disasters)

   • 지진, 홍수, 산불, 극한 기상, 팬데믹 등

2. 기술적 실패(Technological Failures)

   • 하드웨어 장애(디스크, 전원 장치, 네트워크 장비 등)
   • 소프트웨어 장애(잘못된 배포, 설정 오류, 버그)
   • 외부 의존성(클라우드 사업자 장애, 서드파티 API 장애)

3. 인적 요인(Human Factors)

   • 운영 실수(잘못된 설정, 오타 커맨드 등)
   • 교육 부족, 모호한 런북, 온콜 피로도

4. 사회·정치적 리스크(Socio-Political Risks)

   • 운영에 영향을 미치는 법·규제 변화
   • 파업, 커뮤니티/고객 행동, 지정학적 사건 등

이 대분류를 다시 세부 카테고리로 나누어, 각각을 구체적인 대응 자료와 절차에 매핑합니다.

2단계: 위협 카테고리별로 물리 공간 구성하기

이제 이 분류 체계를 실제 물리 공간에 대응시킵니다.

• 서랍 1: 자연 재해

  • 섹션 A: 지진
  • 섹션 B: 홍수
  • 섹션 C: 전력망 불안정

• 서랍 2: 기술적 실패

  • 섹션 A: 스토리지 & 데이터베이스 이슈
  • 섹션 B: 네트워크 & 연결성
  • 섹션 C: 서비스 배포 & 릴리스

• 서랍 3: 인적 요인

  • 섹션 A: 운영 런북 & 교육 자료
  • 섹션 B: 에스컬레이션 프로토콜
  • 섹션 C: 피로도 & 온콜 운영 방식

• 서랍 4: 사회·정치·규제 이슈

  • 섹션 A: 컴플라이언스 인시던트
  • 섹션 B: 벤더 / 파트너 장애
  • 섹션 C: 커뮤니케이션 & PR 플레이북

각 섹션 안에는 해당 위협에만 초점을 맞춘 인시던트 스토리, 런북, 다이어그램, 양식이 들어 있습니다.

3단계: 모든 폴더를 ‘길 안내서’로 만들기

각 인시던트 폴더는 대응자 눈에 **‘선택형 어드벤처 책(choose-your-own-adventure)’**처럼 읽혀야 합니다.

1. 표지 – “여기서 시작(Start Here)”

   • 이 인시던트 유형에 대한 짧은 설명
   • 이 문제가 발생할 때 주로 변하는 신호와 지표(메트릭)
   • 가장 먼저 연락해야 할 대상(이름이 아니라 역할 단위로)

2. 트라이아지 체크리스트

   • 질문 예: “고객 영향이 실제로 확인되었는가?”, “어느 리전/시스템인가?”
   • 의사결정 트리: “X이면 런북 A로, Y이면 런북 B로 이동”

3. 런북(Runbooks)
   단계별 절차:

   • 문제를 검증하기
   • 완화 조치 적용하기
   • 결과 검증하기
     각 단계는 관련 아티팩트(로그, 대시보드, 다이어그램)를 명확히 참조합니다.

4. 시스템 다이어그램 & 맵

   • 라미네이팅된 아키텍처 다이어그램
   • 데이터 플로우 맵
   • 명확한 범례가 포함된 의존성 차트

5. “인시던트 중에 기록할 것” 양식

   • 주요 이벤트에 대한 타임스탬프 필드
   • 내린 결정과 검증한 가설을 적을 공간
   • “무엇이 놀라웠는가?”, “예상보다 무엇이 더 어려웠는가?”와 같은 프롬프트

6. 포스트모템 템플릿(Postmortem Template)

   • “어떤 조건들이 이 오류를 가능하게 만들었는가?”와 같은 블레이멀리스 관점
   • 타임라인, 기여 요인, 영향, 후속 조치 섹션
   • 위협 카테고리, 관련 시스템, 참여자 등을 적는 교차 참조 필드

인시던트가 발생하면 대응자들은 다음과 같이 행동합니다.

• 먼저 가장 가능성이 높은 위협 카테고리를 식별하고,
• 해당 서랍과 세부 섹션으로 이동한 뒤,
• 관련 스토리 폴더를 꺼내
• 폴더 안에 설계된 물리적 “길”을 따라가며 대응합니다.

이 미로는 사람을 혼란스럽게 하는 구조가 아니라, 의도적으로 단계별 안내를 제공하는 구조입니다.

아날로그 기록을 구조화된 ‘탐색 가능한 지식’으로 바꾸기

대부분의 조직은 이미 여러 아날로그 아티팩트를 가지고 있습니다.

• 과거 장애 시 출력해 둔 종이 로그
• 워룸에서 작성된 손글씨 메모
• 서버실 벽에 붙어 있는 런북 프린트물
• 구석에 말려 있는 대형 네트워크 다이어그램 출력물

문제는 그것들이 아날로그라는 점이 아니라, 구조화되어 있지 않고, 스트레스 상황에서 탐색하기 어렵다는 점입니다.

이를 개선하려면 다음을 수행합니다.

• 포스트모템, 런북, 다이어그램에 대해 표준 템플릿을 정의합니다.
• 위협 분류 체계와 일치하는 일관된 라벨, 색상, 인덱스를 사용합니다.
• 최신 버전을 눈에 잘 띄는 위치에 두고, 구 버전은 명확히 표시된 별도 보관 구역에 아카이브합니다.

목표는 누구든지, 오래된 베테랑이 아니더라도 다음을 할 수 있게 하는 것입니다.

• 캐비닛으로 걸어가서,
• 위협 유형에 맞는 서랍을 찾고,
• 폴더를 꺼낸 뒤, 바로 “무엇을 먼저 해야 하는지”를 알 수 있게 하기.

이것만으로도 복잡한 장애 상황에서 혼란을 크게 줄이고, 대응 속도를 높일 수 있습니다.

아날로그와 디지털의 연결: 디지털화로 얻는 시너지

물리 시스템은 위기 상황에서 특히 빛을 발합니다. 예를 들어,

• 네트워크가 다운되었거나,
• 인증 시스템이 망가졌거나,
• 주요 협업 도구에 접속할 수 없는 상황이라면 더욱 그렇습니다.

하지만 아날로그와 디지털 사이에서 둘 중 하나만 선택할 필요는 없습니다.

디지털화(digitization) 도구를 활용하면, 종이 자료를 검색 가능한 앱 기반 리소스로 확장할 수 있습니다.

• 포스트모템, 런북, 양식을 스캔해 중앙 지식 베이스에 저장합니다.
• OCR(광학 문자 인식)을 사용해 PDF를 완전히 검색 가능하게 만듭니다.
• 물리 시스템과 동일한 위협 분류 태그를 디지털 문서에도 붙입니다.
• 디지털 인시던트 티켓에서 해당 물리 폴더 위치를 링크 또는 메모로 연결합니다.

평소에는 사람들에게 디지털 버전이 더 편할 수 있습니다. 하지만 대형 장애 상황이나, 새로운 팀원을 온보딩할 때는 물리 시스템이 중복성, 공유된 컨텍스트, 높은 가시성을 제공합니다.

핵심은 일관성입니다. 디지털 도구와 서랍 시스템 간에 구조와 명명 규칙을 동일하게 유지해야 합니다. 그래야 한쪽에서 배운 스킬을 다른 쪽에서도 그대로 활용할 수 있습니다.

전체를 하나로 잇기

잘 설계된 인시던트 대응 프로세스는 다음을 만족합니다.

• 탐지 → 조정 → 해결 → 포스트모템까지 팀을 안내하고,
• 비난이 아닌 학습을 장려하며,
• 우연한 기억력과 영웅적 개인 플레이가 아니라 구조화된, 탐색 가능한 지식에 의존합니다.

아날로그 인시던트 스토리 서랍 미로는 파일 캐비닛을 이 프로세스의 한 축으로 바꿉니다.

• **위협 분류 체계(자연, 기술, 인적, 사회·정치)**가 자료 정리의 기준점이 되고,
• 각 서랍과 폴더는 조사, 완화, 학습을 위한 가이드 경로가 되며,
• 아날로그 기록은 먼지 쌓인 종이가 아니라 구조화된 스토리가 되고,
• 디지털 도구는 이 모든 것을 검색 가능하고 현대적 워크플로우와 동기화된 지식 베이스로 확장합니다.

시작을 위해 거창한 예산이 필요하지도 않습니다. 다음 세 가지면 충분합니다.

1. 파일 캐비닛 하나,
2. 팀 내에서 합의한 단순한 위협 분류 체계,
3. 인시던트 및 포스트모템을 위한 소수의 표준 템플릿.

그리고 매번 장애를 처리할 때마다, “처음 왔을 때보다 더 나은 흔적”을 남기십시오. 시간이 지나면서 여러분의 스토리 서랍 미로는 강력한 동료가 됩니다.

그 동료는 팀이 가장 복잡한 장애 상황에서도, 당황이 아니라 명료함, 자신감, 호기심을 가지고 문제를 헤쳐 나가도록 도와줄 것입니다.

결국 인시던트 대응 시스템은 도구나 서랍 속에만 존재하지 않습니다. 여러분이 남기고, 구조화하고, 다시 들여다보는 이야기들 속에 있습니다. 덕분에 다음번 무언가가 고장 났을 때, 우리는 빈손으로 출발하는 것이 아니라, 스스로를 위해 의도적으로 설계해 둔 길을 따라가게 됩니다.