골판지 카오스 오케스트라: 종이 악기로 진행하는 스크린 없는 인시던트 드릴

인시던트 대응 팀을 지친 엔지니어들이 가득한 워룸으로 떠올리기보다, 하나의 오케스트라로 상상해 보세요. 각 섹션이 자기 파트를 연주하고, 서로 귀 기울이며, 실시간으로 조정하고, 결국 하나의 완성된 연주를 만들어 내는 팀으로요.

여기에 골판지 카오스 오케스트라(Cardboard Chaos Orchestra) 가 있습니다. 대시보드와 노트북 대신 인덱스 카드, 인쇄된 런북, 손으로 그린 다이어그램으로 진행하는, 장난기 있지만 강력한 인시던트 드릴 방식입니다. 툴도, 탭도, Slack도 없습니다. 오직 사람, 결정, 그리고 한가득 쌓인 종이뿐입니다.

이 글에서는 실제로 스크린 없는(화면을 보지 않는) 테이블탑(tabletop) 연습을 어떻게 설계하고 운영할지, 그리고 왜 이런 방식이 스트레스 가득한 시험이 아니라 창의적인 리허설처럼 느껴지면서도, 실제 고충격 인시던트를 깊이 있게 준비하게 해주는지 살펴보겠습니다.

왜 스크린을 끄는가? 골판지의 필요성

현대의 인시던트는 너무 시끄럽습니다. 실제 장애 상황에서는 보통 이런 것들을 동시에 다루게 됩니다.

• 알림(alert), 로그, 대시보드
• Slack 채널과 화상 회의
• 이해관계자 업데이트와 상태 페이지
• 런북, 티켓, 페이징 시스템

이 모든 것은 필요하지만, 동시에 가장 중요한 층위를 가려 버리기도 합니다. 바로 인간의 의사결정과 조율입니다.

스크린 없는 드릴은 디지털 노이즈를 걷어내고, 다음과 같은 질문에 정면으로 마주하게 만듭니다.

• 실제로 누가, 언제 무엇을 하기로 결정하는가?
• 정보가 모호하거나 불완전할 때, 팀들은 어떻게 서로 조율하는가?
• 무엇을 우선시하는가? 고객 영향, 데이터 무결성, 내부 안전, 법적 리스크 중 무엇인가?
• 누가 누구와 이야기하는가? 그리고 누가 계속 빠져 있는가?

종이 아티팩트로 옮기는 순간 다음과 같은 효과가 생깁니다.

• 기술적 산만 감소 – “잠깐 대시보드 좀 확인할게요” 같은 새는 시간이 줄어듭니다.
• 가정이 드러남 – 빠진 런북, 불명확한 오너십, 부서 간 취약한 핸드오프가 눈에 띕니다.
• 참여도 증가 – 비기술 이해관계자도 툴 숙련도 없이 온전히 참여할 수 있습니다.
• 창의성과 심리적 안전 – 장난스러운 형식 덕분에 긴장이 줄고, 실험을 더 편하게 시도할 수 있습니다.

고위험 공연장이 아니라, 연습실에서 하는 예행연습이라고 생각하면 됩니다.

무대 세팅: 당신만의 오케스트라 설계하기

첫 번째 골판지 카오스 세션 전에, 여러분의 “오케스트라”가 누구로 구성되는지, 그리고 어떤 방식으로 리허설을 할지 정의해야 합니다.

1. 섹션(팀) 캐스팅하기

오케스트라를 나누듯, 인시던트 생태계를 섹션으로 나눠 보세요.

• 현악기(Strings) – 코어 프로덕트 / 엔지니어링 팀
• 금관악기(Brass) – SRE / 인프라 / 플랫폼 팀
• 목관악기(Woodwinds) – 보안 / 프라이버시 / 컴플라이언스
• 타악기(Percussion) – 고객지원 / 인시던트 커뮤니케이션
• 지휘자(Conductor) – 인시던트 커맨더(Incident Commander) 또는 퍼실리테이터
• 솔리스트(Soloists) – 온콜 엔지니어, SME(Subject Matter Expert), 필요 시 임원

각 섹션별로 탁상용 네임텐트나 간단한 표지판을 만들어, 누가 어떤 역할인지 한눈에 보이게 해 두세요.

2. 종이 악기(Paper Instruments) 고르기

리허설 공간에 다음과 같은 것들을 준비합니다.

• 인덱스 카드 – 핵심 “악기”입니다
  • 역할(Role) 카드: IC, 서기(scribe), 커뮤니케이션 리드, 임원 커뮤니케이션 라이어즌 등
  • 액션(Action) 카드: “기능 플래그 X 비활성화”, “온콜 페이징”, “법무팀 알림” 등
  • 결정(Decision) 카드: “가용성을 데이터 신선도보다 우선시” 등
  • 리스크·미지수 카드: “루트 원인 불명확”, “외부 의존성 문제 가능” 등
• 인쇄된 런북·플레이북 – 최소한으로, 읽기 쉽게, 이상적으로 1–3페이지 분량으로 준비합니다.
• 손으로 그린 다이어그램 – 화이트보드나 종이에 그린 시스템 구성도, 데이터 흐름, 오너십 맵 등
• 타임라인용 테이프나 실 – 벽이나 테이블 위에 물리적인 시간선(time line)을 만들어 액션을 순서대로 올려둘 수 있게 합니다.
• 학습 노트용 포스트잇·카드 – 연습 중과 이후에 떠오르는 아이디어를 적기 위한 카드

화려할 필요 없습니다. 이처럼 저비용·저기술 방식 자체가 이 접근의 매력이자 힘입니다.

3. 현실적이고 파급력 큰 시나리오 고르기

좋은 리허설에는 좋은 악보가 필요합니다. 내일 당장 일어나면 정말 아플 시나리오를 선택하세요.

• 핵심 프로덕트에 영향을 미치는 대규모 클라우드 리전 장애(region outage)
• 민감한 고객 정보가 관련된 데이터 유출(data compromise)
• 핵심 인프라를 겨냥한 랜섬웨어 또는 파괴적 공격
• 전 세계적으로 전파되는 치명적인 설정 오류(configuration error)
• 업무 흐름을 깨버리는 제3자 SaaS 의존 서비스 장애

각 시나리오는 한 페이지에 정리합니다.

• 초기 증상: 각 팀이 처음 보게 되는 신호들
• 주요 제약조건: 시간 압박, 핵심 인력 부재, 법적 의무 등
• 비즈니스 임팩트: 고객, 매출, 브랜드, 컴플라이언스에 미치는 영향

이렇게 하면 연습은 현실에 단단히 기반을 두되, 다양한 선택지를 탐색할 자유를 확보할 수 있습니다.

리허설 진행하기: 단계별 가이드

드릴을 오케스트라 리허설처럼 생각해 보세요. 완벽함이 목표가 아니라, 호흡, 타이밍, 서로 듣기를 연습하는 시간입니다.

Step 1: 오프닝 & 프레이밍 (10–15분)

• 메타포를 설명합니다. “오늘 우리는 오케스트라입니다. 이건 평가가 아니라 리허설입니다.”
• 목표를 분명히 합니다.
  • 불확실성 속에서의 커뮤니케이션 연습
  • 팀 간 조율 연습
  • 프로세스, 지식, 오너십의 빈틈 찾기
• 기본 규칙을 세웁니다. 노트북 금지(퍼실리테이터의 메모 용도는 예외), 라이브 시스템 접속 금지 등.

Step 2: 역할과 악기 배포하기

인덱스 카드를 나눠 줍니다.

• 역할(Role) 카드 – 인시던트 커맨더, 서기, 커뮤니케이션 리드 등
• 팀(섹션) 카드 – 각 섹션이 한눈에 보이는 라벨
• 액션 카드 – “로그 조사”, “에스컬레이션”, “심각도 선언(Sev 선언)” 같은 일반 액션 카드 묶음과, 참가자가 직접 적을 수 있는 빈 카드

참가자는 손에 든 카드로 해당 역할을 “연주(play)”합니다. 연습 도중 역할을 다른 사람에게 넘겨줄 수도 있습니다. 마치 지휘자가 다른 섹션에 솔로 파트를 넘겨주는 것처럼요.

Step 3: 시나리오 소개

퍼실리테이터가 시나리오를 큰 소리로 읽습니다.

“지금은 월요일 09:13입니다. 주요 클라우드 리전에서 장애 알람이 쏟아지고 있습니다. 고객 트래픽은 타임아웃이 나고, 소셜 미디어에는 불만 글이 올라오기 시작했습니다. 고객지원 큐는 급격히 늘어나고 있습니다.”

시나리오 카드를 타임라인의 시간 0 지점에 배치합니다.

그리고 질문합니다. “가장 먼저 무엇을 하시겠습니까?”

Step 4: 인시던트 ‘연주’하기

이제부터 오케스트라의 연주가 시작됩니다.

• 참가자들은 어떤 액션을 취할지 말로 제안합니다.
• 그룹이 어떤 액션을 실제로 수행하기로 합의하면, 누군가가
  • 그 내용을 액션 카드에 적고,
  • 실제로 그 액션이 일어났을 법한 시각에 맞춰 타임라인 위에 카드로 배치합니다.
• 인시던트 커맨더(IC) 가 페이싱을 조율합니다. 누가 언제 말할지, 무엇을 우선순위에 둘지 정합니다.
• 서기(scribe) 는 눈에 잘 보이는 곳에 핵심 결정과 그 이유를 기록합니다.

퍼실리테이터는 환경·상황을 담당합니다.

• 액션에 대한 결과를 알려 줍니다. ("그 시도는 실패합니다. 백업 리전도 성능이 많이 저하된 상태입니다.")
• 새로운 카드로 인젝션(inject) 을 추가합니다.
  • “법무팀이 브리핑을 요청합니다.”
  • “기자가 이메일로 코멘트를 요청합니다.”
  • “대형 고객이 30분 내로 업데이트를 달라며 이탈을 경고합니다.”

그 과정에서 팀들에게 이렇게 권장합니다.

• 인쇄된 런북과 종이 다이어그램을 적극 활용하게 하세요.
• 자리에서 일어나, 다이어그램 앞으로 가서 손으로 가리키고, 카드를 옮기게 하세요.
• 실제 인시던트 브리지(브리지 콜)에서처럼, 짧고 명확한 업데이트로 소통하게 하세요.

Step 5: 일시정지, 성찰, 되감기

오케스트라가 어려운 구간에서 멈추고 다시 연습하듯, 퍼실리테이터는 언제든지 “잠깐 멈춤”을 선언할 수 있습니다.

• “여기서 잠깐 멈춰 봅시다. 우리는 방금 루트 원인 분석보다 트래픽 복구를 우선하기로 했습니다. 다른 선택지는 뭐가 있었을까요?”
• 필요하다면 타임라인을 몇 “분” 되감고, 다른 전략으로 다시 플레이해 보게 할 수도 있습니다.

이 구간에서 학습 속도가 확 올라갑니다. 사람들은 실제 위험 없이 전혀 다른 접근 방식을 시도해 보고, 그 결과를 비교해 볼 수 있습니다.

Step 6: 피날레 & 마무리 (5–10분)

시나리오를 명확한 지점에서 끝냅니다.

• 인시던트가 안정화되어 부분 혹은 전체 복구에 도달했을 때
• 특정 리스크를 수용하기로 공식적으로 결정하는 지점
• 포스트 인시던트 리뷰로 넘기는 지점 등

그리고 물리적인 타임라인을 “악보(score)” 삼아, 어떤 일이 어떻게 전개됐는지 짧게 되짚어 봅니다.

인덱스 카드를 통찰의 악기로 쓰기

인덱스 카드는 단순한 소품이 아니라, 팀의 생각을 외부화하는 도구입니다.

• 우선순위 정렬 – 타임라인 위의 액션 카드를 다시 배치해 보면서, 실제로 무엇을 먼저 했어야 하는지 토론할 수 있습니다.
• 역할 명확화 – 두 섹션이 같은 유형의 카드를 반복해서 집어 간다면, 오너십이 겹치고 있을 가능성이 있습니다.
• 결정 기록 – “지금 규제 기관에 알릴 것인가, 확인 후에 알릴 것인가”처럼 중요한 선택지마다 별도의 "Decision" 카드를 만들어 둡니다.
• 개선 아이디어 – 누군가 “이건 진짜 만들어야겠네요…”라고 말하는 순간마다, 그 내용을 Improvement(개선) 카드에 적어 둡니다.

세션이 끝나면 테이블이나 벽에는 다음이 한눈에 보이게 됩니다.

• 이야기 형태로 정리된 인시던트 타임라인
• 어떤 결정을 누가 내렸는지에 대한 기록
• 구체적인 개선 과제로 이행할 수 있는 백로그(backlog)

스크롤도, 검색도 필요 없습니다. 눈에 보이는 한 장면으로 전체 그림을 파악할 수 있습니다.

포스트 콘서트 디브리프: 카오스를 장인정신으로 바꾸기

시나리오가 끝났다고 리허설이 끝난 것은 아닙니다. 디브리프(debrief) 가 바로 카오스를 장인정신(craft)으로 바꾸는 핵심 단계입니다.

다음과 같이 명확한 섹션으로 나눠 진행해 보세요.

1. 감정과 첫인상부터

각 참가자에게 물어봅니다.

• 방금 연습, 어떤 느낌이었나요?
• 언제 가장 자신 있었나요? 언제 가장 막힌 느낌이었나요?

이 질문은 실제 인시던트에서 사람들의 행동을 좌우하는 감정적 현실(스트레스, 혼란, 지루함 등)을 드러나게 해 줍니다.

2. 잘 된 점

타임라인과 노트를 보며, 다음을 찾아봅니다.

• 뛰어난 협업이 이루어진 순간들
• 명확한 커뮤니케이션 패턴
• 실제로 많은 도움이 된 런북이나 다이어그램

이 내용을 “Keep Doing(계속할 것)” 카드에 적습니다.

3. 어려웠거나 헷갈렸던 점

다음과 같은 부분을 찾아봅니다.

• 오너십이나 의사결정 권한이 불명확했던 부분
• 빠져 있거나 불완전했던 런북·절차
• 한 사람이 병목이 되어버린 구간(싱글 포인트 오브 페일리어)

각 항목을 “Change(바꿀 것)” 카드에 적습니다.

4. 인사이트를 구체적인 액션으로 바꾸기

이제 “Change” 카드를 구체적인 개선 과제로 전환합니다.

• “부분적인 클라우드 리전 장애에 대한 런북 작성”
• “Sev-1 인시던트에서 외부 커뮤니케이션 승인 권한 명확화”
• “고객 메시지에 초점을 맞춘 고객지원 + 커뮤니케이션 팀만의 미니 드릴 진행”

각 과제에 오너와 대략적인 완료 목표 시점을 지정합니다. 벽면 전체를 사진으로 찍어 둔 뒤, 평소 사용하는 이슈 트래킹 시스템(Jira, Asana, Notion 등)에 액션 아이템으로 옮깁니다.

이 단계가 핵심입니다. 그렇지 않으면, 공들인 리허설이 그저 ‘한 번 재밌었던 행사’로 끝나 버립니다.

저비용, 고참여를 유지하는 법

골판지 카오스 오케스트라의 진짜 마법은 접근성이 뛰어나다는 점입니다.

• 준비물: 인덱스 카드, 마커, A4 용지, 테이프, 화이트보드 정도
• 시간: 집중 세션 기준 60–90분
• 인원: 보통 5–15명 정도가 가장 적당합니다.

이렇게 가볍기 때문에 다음과 같은 운영이 가능합니다.

• 짧고 정기적인 리허설(예: 월 1회 또는 분기 1회)을 돌릴 수 있습니다.
• 지휘자(Conductor) 를 번갈아 맡기며 더 많은 사람이 인시던트 리더십을 연습할 수 있습니다.
• 재무, HR, 법무 같은 크로스펑셔널 게스트를 초대해, 인시던트에 대한 공동 이해를 쌓을 수 있습니다.

연습을 반복할수록 팀 전체의 합은 더 정교해지고, 다음 실제 인시던트는 이전보다 훨씬 덜 혼란스럽게 느껴질 것입니다. 이미 여러 번 “리허설”해 본 연주이기 때문입니다.

결론: 오늘 리허설하고, 내일 더 잘 대응하기

모든 인시던트를 예측할 수는 없지만, 어떻게 대응할지 연습하는 것은 가능합니다.

인시던트 대응 드릴을 오케스트라 리허설처럼 — 스크린 없이, 장난스럽지만 매우 인간적인 방식으로 — 진행하면 다음과 같은 효과를 얻을 수 있습니다.

• 대시보드가 아니라 의사결정에 집중하게 됩니다.
• 프로세스와 오너십의 숨은 빈틈을 드러냅니다.
• 팀 간 신뢰와 유창한 협업을 강화합니다.
• 카오스에서 배우는 문화를, 특별한 이벤트가 아니라 일상적인 일로 만듭니다.

필요한 것은 골판지(혹은 종이), 펜, 그리고 한 시간짜리 캘린더 슬롯뿐입니다.

이제 섹션들을 모으고, 종이 악기를 나눠 주고, 지휘봉을 들어 올리세요. 골판지 카오스 오케스트라의 첫 리허설을 시작할 시간입니다. 그리고 그 경험은, 다음에 맞이할 실제 인시던트를 분명 더 나은 방향으로 바꿔 줄 것입니다.