아날로그 인시던트 스토리 컴퍼스 팬트리: 더 빠르고 차분한 장애 대응을 위한 ‘종이 재료’ 벽 만들기

디지털 서비스 장애만으로도 충분히 혼란스러운데, 다음에 무엇을 해야 할지 찾으려고 위키, 티켓, Slack 스레드를 뒤지는 일까지 겹치면 상황은 더 악화됩니다. 사이트가 내려가고 알람이 쏟아지는 순간에 우리가 원하는 건 보물찾기가 아니라 레시피입니다.

여기서 등장하는 것이 바로 **아날로그 인시던트 "스토리 컴퍼스 팬트리"**입니다. 체크리스트, 역할 카드, 템플릿, 지도 같은 종이 기반의 ‘재료’들을 한눈에 보이게 벽에 구성해 두고, 인시던트 동안 팀이 빠르게 현재 위치를 파악하고, 행동하고, 그때그때 유연하게 조정할 수 있게 돕는 장치입니다.

이건 화이트보드에 대한 향수가 아닙니다. 고스트레스, 시간 압박 상황에서 의도적으로 선택하는 디자인입니다. 손으로 만질 수 있는 실물 아티팩트는 인지 부하를 줄이고, 책임을 분명하게 드러내며, 실제 작업은 디지털 시스템에서 이뤄지더라도 모두가 같은 방향으로 움직이게 만들어 줍니다.

이 글에서는, 다음과 같은 특징을 가진 아날로그 인시던트 팬트리를 어떻게 설계하고 운영할지 살펴봅니다.

장애 대응을 더 빠르게, 더 차분하게 만든다
시스템 신뢰성을 사람(조직) 책임과 연결한다
역할과 에스컬레이션 경로를 한눈에 보이게 한다
서로 다른 인시던트 유형별로 재사용 가능한 장애 대응 "레시피"를 만든다
SOC 2, HIPAA, GDPR 같은 컴플라이언스 프레임워크와 정렬한다
Jira, ServiceNow 등 기존 도구들과 동기화된다
사후 인시던트 리뷰를 통해 지속적으로 발전한다

왜 인시던트 한복판에서는 여전히 아날로그가 유리한가

인시던트가 터지면, 팀은 보통 이런 상태에 놓입니다.

극심한 시간 압박
불완전하고 단편적인 정보
스트레스와 잦은 방해

이런 상황에서는, 아무리 잘 만든 디지털 문서라도 오히려 마찰을 키울 수 있습니다.

위키 URL이 기억나지 않는다
적절한 런북을 찾지 못한다
온콜 담당자가 특정 서브시스템의 오너를 모른다
공유 문서 권한이 엉켜 있다

아날로그 아티팩트는 디지털 문서를 대체하지 않습니다. 대신 핵심 정보를 다음과 같이 보완합니다.

한눈에 보이게 한다 (워룸의 벽이나 보드 위에)
잡아서 건네줄 수 있게 한다 (역할 카드를 바로 넘겨주기)
압박 속에서도 안정적이다 (링크 깨짐 없음, 검색 불필요)

아날로그 팬트리를 하나의 **인시던트 "스토리 컴퍼스"**라고 생각해 보십시오. 팀이 다음 질문에 빠르고 차분하게 답할 수 있게 돕는 나침반입니다.

우리는 지금 어디에 있나? 누가 키를 잡고 있나? 다음에 해야 할 올바른 한 걸음은 무엇인가?

1단계: 팬트리를 종이 기반 “재료”로 채우기

먼저, 어떤 장애 상황에서도 조합해 쓸 수 있는 표준 실물 아티팩트 세트를 만듭니다.

핵심 재료들

역할 카드 (Role Cards)
- Incident Commander (인시던트 커맨더)
- Communications Lead (커뮤니케이션 리드)
- Scribe / Incident Historian (스크라이브 / 인시던트 히스토리안)
- Tech Lead / Resolver Lead (테크 리드 / 리졸버 리드)
- 주요 시스템 온콜 (DB, 네트워크, SRE, 보안 등)
각 카드에는 다음 내용을 포함합니다.
- 역할의 목적
- 핵심 책임 Top 5
- 전형적인 핸드오프(인계) 규칙
- 1차/2차 담당자(Primary / Backup)
인시던트 체크리스트 (Incident Checklists)
- 첫 5분 체크리스트 (안정화, 트리아지, 역할 할당)
- 커뮤니케이션 체크리스트 (누구에게, 무엇을, 언제 알릴지)
- 에스컬레이션 체크리스트 (리더십, 법무, 프라이버시 담당을 언제 깨울지)
- 인시던트 종료 체크리스트 (검증, 고객 공지, 사후 작업)
템플릿 & 폼 (Templates & Forms)
- 인시던트 로그 시트 (시간, 사건, 결정, 실행자)
- 고객 공지 템플릿 (내부용 / 외부용)
- 규제 / 컴플라이언스 영향 평가 폼
- 데이터 유출(브리치) 평가 체크리스트 (해당될 경우)
시스템–오너십 맵 (System–Ownership Maps)
- 크게 인쇄한 다이어그램으로 다음을 매핑합니다.
  - 주요 서비스와 그 의존성들
  - 오너 팀과 주요 연락처
  - 책임 범위의 명확한 경계
에스컬레이션 경로 포스터 (Escalation Path Posters)
- 시각적인 사다리 형태로 다음을 보여줍니다.
  - 온콜 → 팀 리드 → 디렉터 → 임원
  - 온콜 → 보안/프라이버시 → 법무 (데이터 관련 이슈의 경우)

이 모든 것을 한 단일 벽 또는 보드에 모읍니다. 이것이 바로 ‘팬트리’입니다. 각 요소를 명확하게 라벨링하고, 실제 인시던트 중에 바로 쓸 수 있도록 빈 양식을 충분히 비치해 둡니다.

2단계: 아키텍처의 신뢰성과 조직도의 책임을 연결하기

많은 장애가 복잡해지는 이유는 기술이 실패해서라기보다 오너십이 모호하기 때문입니다.

이를 바로잡으려면, 시스템 신뢰성을 사람과 팀에 명시적으로 연결해야 합니다.

아키텍처에서 출발하기
- 핵심 서비스, 데이터베이스, 서드파티 의존성, 주요 연동(통합)들을 식별합니다.
- 인증, 결제, 메시징처럼 신뢰성에 치명적인 경로를 강조합니다.
조직도를 덧씌우기
- 각 시스템이나 서비스에 대해 명확한 책임 팀을 지정합니다.
- 1차/2차 연락처와 에스컬레이션 담당자를 추가합니다.
이를 종이 위에 가시화하기
- 이 매핑을 다음 형태로 만듭니다.
  - 팬트리에 붙이는 서비스 오너십 맵(인쇄본)
  - 시스템 다이어그램 안에 직접 오너십 라벨을 표기

인시던트가 발생하면, Incident Commander는 벽으로 가서 아키텍처를 한 번 훑어보고 곧바로 이렇게 파악할 수 있어야 합니다. “이 시스템이 빨간불이다; 저 팀이 책임 팀이다.”

3단계: 역할과 에스컬레이션을 즉시 명확하게 만들기

모호함은 속도를 죽입니다. "누가 리드야?" "X를 승인할 수 있는 사람은 누구야?" 같은 질문은 P1 한가운데서 논쟁하고 싶은 주제가 아닙니다.

아날로그 팬트리를 이용해 이 부분을 애초에 모호하지 않게 만듭니다.

인시던트 시작 시, 실제로 역할 카드를 사람들에게 손에 쥐여줍니다.
테이블 위에 두거나, 그 사람 앞 작은 자석 보드에 꽂아 둡니다.
시스템–오너십 맵 옆에는 SRE, 보안, 데이터 프라이버시 등 각 기능별 에스컬레이션 사다리(printed escalation ladder)를 붙여 둡니다.

그렇게 하면, "법무를 끌어들여야 하나?" 같은 질문이 나왔을 때, 답은 이미 벽에 있습니다.

인시던트 클래스를 확인합니다 (예: 보안, 성능, 가용성)
인쇄된 에스컬레이션 경로를 따라갑니다
사다리 위에 명시된 사람에게 연락합니다

그 결과, 임의의 DM이 줄어들고, "이거 누가 오너야?" 논쟁이 줄어들며, 팀 전체가 더 자신감 있고 차분하게 움직이게 됩니다.

4단계: 아날로그 재료로 장애 대응 “레시피” 만들기

팬트리가 준비되면, 이제 인시던트 유형별 **레시피(Playbook)**를 만듭니다. 인시던트 클래스를 나눠 단계별 행동을 정의하는 방식입니다.

예를 들면 다음과 같은 클래스가 있을 수 있습니다.

P1: 전체 사이트 장애 (Full site outage)
P1: 데이터 유출(브리치) 의심
P2: 핵심 플로우 성능 저하
P2: 서드파티 의존 서비스 장애
P3: 비핵심 서비스 중단

각 클래스마다 한 페이지짜리 레시피를 만듭니다. 이 레시피는 다음을 포함합니다.

레시피 이름
- 예: “Recipe: P1 – Full Site Outage”
필요한 재료(Ingredients) 목록
- 역할: Incident Commander, Tech Lead, Comms Lead, Scribe
- 아티팩트: 인시던트 로그 시트, 고객 공지 템플릿, 에스컬레이션 사다리
시간 구간별 단계적 행동 지침
- 0–5분: 인시던트 확인, 역할 할당, 로그 시작
- 5–15분: 영향 범위(Blast radius) 축소, 1차 상태 커뮤니케이션
- 15–60분: 근본 원인 조사, 완화 조치 수행
- 완화 이후: 검증, 고객 업데이트, 후속 작업 시작

이 레시피들을 인쇄해 팬트리에 잘 보이게 비치합니다. 심각도나 유형별로 색깔을 바꿔도 좋습니다 (예: P1은 빨강, P2는 주황, 보안 이슈는 파랑 등).

인시던트가 발생하면 커맨더는 벽에서 해당하는 레시피를 집어 들고, 역할 카드와 체크리스트를 나눠주며 팀을 바로 출발선에 세울 수 있습니다.

5단계: 아날로그 아티팩트를 컴플라이언스와 감사 요구사항에 맞추기

대부분의 조직은 SOC 2, HIPAA, GDPR, PCI-DSS 혹은 내부 리스크 프레임워크 같은 하나 이상의 컴플라이언스 기준 아래에서 운영됩니다.

인시던트 팬트리는, 레시피를 따라가기만 해도 자연스럽게 컴플라이언스를 충족하도록 설계되어야 합니다. 컴플라이언스가 별도의 부담이 아니라, 기본 프로세스에 포함되도록 만드는 겁니다.

이를 위해, 종이 아티팩트 안에 컴플라이언스를 심어 둡니다.

인시던트 로그 시트에 데이터 분류 관련 질문을 추가합니다.
- "개인정보(PII)가 포함되어 있습니까?" (예/아니오/미확인)
- "이 인시던트는 GDPR/HIPAA 범위에 포함됩니까?" (체크박스)
레시피 안에 규제 신고(통지) 체크포인트를 넣습니다.
- "개인정보 유출이 확정될 경우, X시간 이내 프라이버시 책임자에게 통지"
법무 및 규제 요건에 부합하도록 사전 승인된 커뮤니케이션 템플릿을 준비합니다.

인시던트 종료 후, 이 종이 아티팩트들은 다음과 같이 활용할 수 있습니다.

스캔 또는 사진 촬영
Jira / ServiceNow 인시던트 티켓에 첨부
SOC 2나 HIPAA 감사 시 직접 증빙 자료로 활용

목표는 인시던트 대응이 빠르고 명확할 뿐 아니라, **추적 가능하고 방어 가능(Defensible)**하도록 만드는 것입니다.

6단계: 아날로그 팬트리를 디지털 워크플로와 연동하기

아날로그만으로는 충분하지 않습니다. 실제 작업은 여전히 다음과 같은 디지털 도구에서 이뤄집니다.

티켓 시스템 (Jira, ServiceNow 등)
온콜 도구 (PagerDuty, AlertOps, Opsgenie 등)
채팅 (Slack, Teams 등)

따라서 아날로그 팬트리가 이런 디지털 워크플로를 거울처럼 반영하고 강화하도록 만들어야 합니다.

모든 종이 인시던트 로그 시트에는 주요 디지털 인시던트 ID를 적는 필드를 둡니다.
역할 카드에는 다음 내용을 포함할 수 있습니다.
- 생성해야 할 Slack 채널 네이밍 규칙 (예: #inc-<id>)
- Jira / ServiceNow 상에서 해당 역할이 트리거해야 하는 워크플로
레시피에는 특정 자동화나 스크립트를 참조하도록 하되, 화면을 보지 않고도 사람이 이해할 수 있도록 텍스트로 설명합니다. (예: "AlertOps에서 X 플레이북 실행")

아날로그를 사람 정렬을 위한 가시적인 프런트엔드, 디지털을 **머신과 감사 관리를 위한 시스템 오브 레코드(System of Record)**로 생각하면 좋습니다.

7단계: 정기적인 점검으로 팬트리를 항상 ‘신선’하게 유지하기

내용이 오래된 팬트리는 없는 것보다 더 위험할 수 있습니다. 신뢰를 유지하려면, 벽에 붙어 있는 정보가 현재 실제 인시던트 운영 방식을 반영해야 합니다. 세 번의 조직개편 전 상태를 반영해서는 안 됩니다.

이를 위해 **사후 인시던트 리뷰(Post-Incident Review)**에 팬트리 점검을 포함시킵니다.

의미 있는 인시던트마다 다음을 묻습니다.
- 어떤 종이 아티팩트가 실제로 도움이 되었는가?
- 무엇이 부족하거나 틀렸는가?
- 오너십이나 에스컬레이션이 불분명하게 느껴진 지점은 어디인가?
가능한 한 즉시 업데이트합니다.
- 오너십 맵과 연락처를 수정
- 레시피를 조정 (단계 추가/삭제, 순서 변경)
- 체크리스트와 템플릿 개정
**분기마다 팬트리 정기 감사(Quarterly Pantry Audit)**를 수행합니다.
- 전화번호와 온콜 로테이션이 최신인지 확인
- 오래된 다이어그램은 아카이브하고 새로 인쇄
- 컴플라이언스 관련 질문과 체크포인트가 최신 의무사항과 맞는지 점검

각 아티팩트에 눈에 띄게 버전 날짜를 표기합니다 (예: "Version 2026-01"). 이런 작은 표시가 벽에 있는 정보가 현재이며 신뢰할 수 있다는 안도감을 줍니다.

결론: 고위험 인시던트를 위한 더 차분한 ‘주방’ 만들기

장애 대응이 즐거울 수는 없지만, 꼭 혼돈스러울 필요는 없습니다. 아날로그 스토리 컴퍼스 팬트리—잘 큐레이션된 종이 기반 재료 벽—를 만들면 다음과 같은 효과를 얻을 수 있습니다.

흩어져 있던 지식을 눈에 보이는, 즉시 집어 쓸 수 있는 도구로 전환
시스템 신뢰성을 사람과 팀의 책임에 직접 연결
역할과 에스컬레이션 경로를 즉시 읽을 수 있게 시각화
실제 장애 양상에 맞는 인시던트 "레시피" 제공
일상적인 대응 과정 속에 컴플라이언스와 감사 가능성을 내장
아날로그 가이드와 디지털 실행을 조화롭게 결합
실제 경험을 통해 지속적으로 접근 방식을 개선

다음 인시던트가 닥쳤을 때, 팀이 불 속에서 즉흥 연주를 하는 기분이 아니라, 잘 검증된 레시피를 따라가되 상황에 맞게 판단을 더하는 느낌을 받을 수 있게 하는 것이 목표입니다.

시작은 작게 해도 됩니다. 벽 하나, 몇 장의 역할 카드, 첫 대응 체크리스트, 그리고 하나의 P1 레시피부터 시작해 보세요. 한 번 드릴(모의훈련)을 돌려 보고, 배운 점을 반영해 개선합니다. 시간이 지나면, 이 아날로그 팬트리는 단순한 종이 묶음을 넘어, 조직이 장애 상황을 속도, 명료함, 그리고 침착함 속에서 헤쳐 나가게 해 주는 공유된 나침반이 될 것입니다.