소개

대부분의 팀은 인시던트 대응을 더 잘하고 싶다고 말합니다. 하지만 실제 장애와 비슷한 방식으로 연습하는 팀은 거의 없습니다.

보통의 “테이블탑 연습(tabletop exercise)”은 지나치게 깔끔하고 공손합니다. 모두가 책상에 둘러앉아 완벽한 시나리오를 따라가며, 너무도 당연한 다음 단계를 합의하죠. 그러다 실제 인시던트가 터지면 팀은 시끄러운 로그, 빠진 데이터, 압박감, 혼란, 상충되는 가설들에 그대로 얻어맞습니다.

그렇다면 생기 없는 체크리스트를 돌리는 대신, 인시던트를 위한 스탠딩 아날로그 아케이드 캐비닛을 만든다고 상상해보면 어떨까요? 매일 걸어가서 손을 얹고, 손으로 직접 만지면서 복잡하고 스토리 기반의 상황을 탐색하는 물리적인 종이 기반 “스토리 컴퍼스” 콘솔 말입니다.

이 글에서는 아날로그 인시던트 스토리 컴퍼스 아케이드 캐비닛을 설계하는 방법을 살펴봅니다. 신뢰도 연습을 일상적인 의식, 게임화된 학습, 그리고 실제 운영 준비도로 바꾸어주는 촉각적인 종이 콘솔입니다.

왜 기존 테이블탑 연습은 힘을 못 쓰는가

신뢰도(reliability) 작업은 현실을 닮을 때에만 진짜가 됩니다.

• 지저분한 신호: 시끄러운 로그, 부분적인 대시보드, 상충되는 메트릭
• 불완전한 가시성: 일부 도구가 죽어 있거나 없고, 데이터가 늦게 올라옴
• 상충하는 가설: 똑똑한 사람들이 근본 원인에 대해 서로 다른 이야기를 함
• 시간 압박: 고객이 영향 받고, 리더십은 계속 메시지를 보내고, 시간은 줄어듭니다.

그런데 많은 테이블탑 연습은:

• 완벽하게 선형적인 이야기를 보여줍니다. (“이 로그를 보고, 그다음 이 서비스를 재시작한다.”)
• 모든 도구가 항상 사용 가능하고 정확하다고 가정합니다.
• 조율, 혼란, 오해·오판을 건너뜁니다.
• 모호한 결론이나 트레이드오프 대신 항상 깔끔한 해피엔딩으로 끝납니다.

결과적으로 팀은 인시던트를 잘 다루는 것이 아니라, 연습을 잘 통과하는 법만 익히게 됩니다.

아날로그 아케이드 스타일 콘솔은 의도적으로 이 혼란과 마찰을 받아들입니다. 풀스케일 테크니컬 카오스 엔지니어링을 하지 않고도, 실제 장애의 마찰·불확실성·서사를 재현할 수 있습니다.

아날로그 인시던트 스토리 컴퍼스 아케이드 캐비닛이란?

스탠딩 아케이드 캐비닛을 떠올려 보세요. 그런데 게임 화면 대신, 이런 것들이 있습니다.

• 인쇄된 대시보드, 가짜 로그 조각, 인시던트 타임라인으로 가득 찬 세로 패널
• 시간이 지나면서 새로운 “이벤트”(알림, Slack 메시지, 고객 티켓)가 나타나는 슬롯 또는 봉투
• 도구, 액션, 실험, 제약 조건을 나타내는 물리적 카드들
• 사용자 영향, 시간, 학습 결과를 추적하는 명확한 스코어보드

당신은 이 콘솔 앞에—가능하면 1~2명의 팀원과 함께—서서, 앞에 있는 것만 가지고 인시던트 스토리를 따라갑니다. 카드를 뒤집고, 새로운 봉투를 열고, 새로운 정보를 드러내고, 다음에 무엇을 할지 결정합니다.

IDE는 없습니다. “실제 Grafana를 한번 볼게요”도 없습니다. 오직 종이 콘솔과 여러분의 집단적 판단뿐입니다.

이것이 바로 당신의 **스토리 컴퍼스(Story Compass)**입니다. 불확실성을 탐색하고 트레이드오프를 판단하는 연습을 구조적으로 돕는 도구입니다.

인시던트를 손으로 느끼는 서사 경험으로 만들기

핵심 전환점은 인시던트 연습을 절차 점검이 아니라 인터랙티브 스토리로 다루는 것입니다.

스토리의 구성 요소

1. 배경과 스테이크(위험)

   • 어떤 시스템이 고장 났는가?
   • 누가 영향을 받는가?
   • 무엇이 걸려 있는가? (매출, 신뢰, 안전, 평판)

2. 초기 신호

   • 한두 개의 알림, 고객 불만, 내부 에스컬레이션 중 하나
   • 정보는 제한적이지만, 대응을 강제할 만큼은 있는 상태

3. 단서와 미끼(레드헤링)

   • 유용한 데이터와 오해를 부르는 노이즈가 섞인 인쇄된 로그
   • 일부 메트릭이 빠졌거나 오래된 부분적 대시보드
   • 허구의 팀원들이 보내는, 서로 충돌하는 Slack 스타일의 “메시지”

4. 제약과 복잡성

   • “온콜 SRE는 30분 뒤에야 합류 가능”
   • “주요 모니터링 도구 장애”
   • “데이터 마이그레이션 진행 중이라 롤백은 위험함”

5. 전환점

   • 새로운 알림, 추가 에스컬레이션, 추가 고객 제보
   • 리더십의 핑: “얼마나 심각합니까? 복구 ETA는?”
   • 시간을 날려버리는 실패한 가설

6. 결과와 트레이드오프

   • 부분 완화 vs 완전 해결
   • 더 빠르지만 위험한 해결책 vs 더 느리지만 안전한 경로
   • 언제 인시던트를 종료 선언할지, 무엇을 문서화할지

각 시나리오는 인쇄 후 잘게 잘라, 아케이드 캐비닛을 통해 시간에 따라 순차적으로 공개합니다. 플레이어는 손을 뻗어 단서를 집어 들고, 어떻게 진행할지 결정합니다.

진지함은 유지한 채 인시던트 대응을 게임화하기

게임화(gamification)는 장애를 가볍게 여기겠다는 뜻이 아닙니다. 사람들에게 충분히 재미있고 몰입감 있게 만들어서, 실제로 연습하게 하고 오래 기억하게 만든다는 뜻입니다.

사용할 수 있는 게임 메커닉

• 스코어링(점수화)
  다음을 추적합니다.

  • 감지 시간, 완화까지 걸린 시간
  • 위험한 실험 횟수 vs 검증된 단계 수
  • 영향 점수(가상의 사용자 수, 위험에 놓인 매출)
  • 학습 점수(사후 회고 인사이트의 품질)

• 역할과 ‘캐릭터 클래스’
  인시던트 커맨더, 커뮤니케이션, 운영(Ops), 프로덕트, “헷갈리지만 호기심 많은 엔지니어” 같은 역할을 부여합니다. 각각:

  • 고유한 액션 카드
  • 라운드마다 제한된 행동 수
  • 서로 다른 정보 접근 권한을 가집니다.

• 아케이드 같은 의식(ritual)

  • 매 세션 시작 시 “코인 드롭”: 시나리오 이름과 시작 시간을 캐비닛에 고정
  • 캐비닛에 잘 보이게 놓인 물리적 타이머
  • 완화 선언 시(성공이든 실패든) 울리는 실제 “게임 오버” 혼·벨

• 캠페인 모드
  시나리오들을 시리즈로 연결합니다.

  • 예전에 발생한 미스컨피그가 몇 주 뒤 다시 모습을 드러남
  • 과거의 “급한 땜질”이 새로운 부작용을 초래
  • 연습 인시던트 이후 도입한 도구·프로세스 개선으로 다음 시나리오가 달라짐

목표는 결과를 동반한 몰입감입니다. 결정은 의미가 있지만, 실패해도 안전하고 배울 거리가 풍부합니다.

일상적인 신뢰도 의식: 짧고, 서서 하는 세션

물리적인 캐비닛의 가장 큰 장점은 자주, 가볍게 연습할 수 있게 해준다는 점입니다.

분기마다 반나절짜리 테이블탑을 하는 대신, 이렇게 합니다.

• 매일 혹은 주 2~3회 10~20분짜리 의식
• 항상 콘솔 앞에서 서서 진행해 에너지를 유지
• 매번 인시던트 스토리의 작은 조각만 다루기

일일 의식 예시 흐름 (15분)

1. 세팅 (2분)

   • 시나리오 봉투를 하나 뽑습니다.
   • 역할을 빠르게 배정합니다(또는 주중에 돌려가며 수행).

2. 스토리 라운드 (8–10분)

   • 다음 카드를 공개합니다: 새로운 알림, 로그 조각, 이해관계자 메시지 등
   • 가설을 논의하고, 한두 개의 액션을 선택합니다.
   • 결과 카드(consequence)를 공개하고 스코어보드를 업데이트합니다.

3. 디브리핑(회고) (3–5분)

   • 어떤 정보가 있었으면 좋았을까?
   • 어디에서 막혔거나 논쟁이 생겼는가?
   • 다음 번에 도움이 될 개선 한 가지(프로세스, 도구, 알림, 런북)는 무엇인가?

이 과정을 몇 주에 걸쳐 반복하면, 진짜 **근육 기억(muscle memory)**이 생깁니다.

• 인시던트에 대한 공통 언어
• 불확실성에 익숙해지는 태도
• 더 빠르고 자신감 있는 의사결정
• 낮은 자존심 경쟁, 높은 협업 수준

완벽하고 중앙화된 데이터 없이 연습하기

실제 인시던트에서는 원하는 모든 데이터가 한 눈에 들어오는 “완벽한 단일 화면(one pane of glass)”에 모여 있지 않은 경우가 대부분입니다. 종이 콘솔은 이 제약을 그대로 품어야 합니다.

시나리오를 설계할 때 이렇게 합니다.

• 여러 도구(로그, 메트릭, 트레이스, 사용자 제보)를 각각 다른 패널이나 종이 더미로 시뮬레이션합니다.
• 일부러 **공백(gap)**을 넣습니다.
  • 빠진 로그 필드
  • 지연되는 대시보드
  • 서로 다른 허구의 팀들이 내리는 상충된 해석
• 주의력을 어디에 쓸지 트레이드오프를 강제합니다.
  • 각 역할은 특정 패널에만 접근 가능하게 만들기
  • 어떤 데이터를 보는 데에는 스코어보드 상의 시간이 소모되게 하기

이처럼 부분적이고 상충하는 정보로 반복해서 결정을 내려보면 팀은 점점 다음과 같은 능력을 키웁니다.

• 더 나은 명확화 질문을 던지기
• 불확실성을 분명하게 커뮤니케이션하기
• 그럴듯해 보이는 첫 번째 가설에 과도하게 집착하지 않기
• 역할과 데이터 소스 전반에 걸쳐 조율하기

이 능력들은, 완벽한 대시보드만을 전제로 훈련할 경우 실제 압박 상황에서 가장 먼저 무너지는 부분입니다.

아케이드 프레이밍을 통한 심리적 안전감

인시던트 자체는 본질적으로 스트레스가 큽니다. 만약 연습이 시험처럼 느껴진다면, 사람들은 연습을 피하거나, 과하게 안전하게만 플레이할 것입니다.

연습을 의도적으로 아케이드 게임으로 프레이밍함으로써, 다음을 기대할 수 있습니다.

• 실험을 정상화합니다. “이건 위험하지만 그럴듯한 액션인데, 한번 해보면 어떻게 되는지 보자.”
• 연습에서의 정체성과 실제 성과를 분리합니다. 여기서의 점수는 학습을 위한 것이지, 고과를 매기기 위한 것이 아닙니다.
• 실패를 공개적이고 공유된 경험으로 만듭니다. 캐비닛은 실수를 기대하고, 그 실수를 분석하는 공간이 됩니다.

이를 강화하려면 다음과 같이 할 수 있습니다.

• 재미있는 실패를 추적하고 축하합니다. (예: “이번 주 최고의 틀린 가설 상”)
• “리셋” 의식을 만듭니다. 한 라운드가 완전히 망했을 때 벨을 울리고, 웃은 뒤, 배운 점을 한 줄 적습니다.
• 게임에서 나온 어떤 결과도 인사 평가에 절대 반영하지 않도록 명확히 못 박습니다.

이렇게 하면 불안이 줄어들고, 실제 장애 상황에서 필요한 바로 그 행동—호기심, 명료한 커뮤니케이션, 의심을 거리낌 없이 드러내는 태도—이 촉진됩니다.

아날로그 의식과 현대 인시던트 툴링의 결합

아날로그 캐비닛은 인시던트 관리 소프트웨어의 대체제가 아닙니다. 보완재입니다. 이를 통해 다음을 할 수 있습니다.

• 압박 상황에서 진짜로 중요한 도구가 무엇인지 평가하기
• 현재 툴링이 어디에서 혼란스럽고, 노이즈가 많고, 빠져 있는지 발견하기
• 새로운 플레이북이나 커뮤니케이션 패턴을 안전하게 시험해보기

둘을 통합하는 방법

1. 실제 인시던트에서 스토리를 채굴하기
   과거 인시던트를 종이 시나리오로 변환합니다. 데이터는 적절히 익명화하되, 서사의 흐름과 트레이드오프는 그대로 유지합니다.

2. 인시던트처럼 게임에도 계측하기

   • 의사결정 타임라인을 기록합니다.
   • 플레이어가 “있었으면 좋겠다”고 느낀 “도구”를 적어 둡니다.
   • 세션별 점수를 비교해 어떤 변화가 결과를 개선하는지 살펴봅니다.

3. 인사이트를 다시 소프트웨어에 반영하기

   • 연습 중 겪은 혼란을 기반으로 알림 임계값·그룹핑을 다듬습니다.
   • 인시던트 템플릿, 커뮤니케이션 매크로, 상태 페이지 흐름을 개선합니다.
   • 시간 압박 속에서 사람들이 실제로 추론하는 방식에 맞춰 런북을 조정합니다.

4. 가끔은 하이브리드 런을 시도하기

   • 처음에는 종이 콘솔에서 시작했다가, 중간쯤에 제한된 범위 내에서 실제 도구 사용을 허용합니다.
   • 사람들이 얼마나 빨리 대시보드에 집착하게 되는지, 그리고 커뮤니케이션이 더 좋아지는지 혹은 나빠지는지 관찰합니다.

이러한 루프를 통해, 아케이드 캐비닛은 인시던트 관리 생태계를 위한 살아 있는 실험실이 됩니다.

시작하기: 간단한 첫 번째 캐비닛

처음부터 맞춤형 목재 캐비닛을 만들 필요는 전혀 없습니다. 다음 정도면 충분합니다.

• 스탠딩 화이트보드나 코르크 보드
• 인쇄된 시나리오 봉투와 카드 덱
• 눈에 잘 띄는 타이머와 작은 점수 기록지

첫 단계는 다음과 같습니다.

1. 실제로 기억에 남는 인시던트 하나를 골라 단순화한 내러티브로 재구성합니다.
2. 알림, 로그, 메시지, 제약, 결과 등을 포함해 10–15장의 카드로 쪼갭니다.
3. 소규모 그룹과 함께 20분짜리 파일럿을 돌립니다.
4. 피드백을 바탕으로 난이도, 진행 속도, 스코어링 방식을 조정합니다.
5. 정기성을 약속합니다. (예: 매주 화·목 아침)

시간이 흐르면서 다음을 덧붙일 수 있습니다.

• 레트로 아케이드 아트나 팀 브랜딩이 들어간 실제 테마 캐비닛
• 더 복잡한 캠페인과 반복 등장하는 스토리라인
• 프로덕트, 고객 지원, 보안 팀까지 함께하는 크로스팀 이벤트

결론

신뢰도는 포스트모텀을 읽는 것만으로는 쌓이지 않습니다. 사람들이 함께 불확실성을 헤쳐 나가고, 압박 속에서 트레이드오프를 선택하고, 그 뒤에 무엇을 배웠는지 돌아보는 그 순간에 만들어집니다.

스탠딩 아날로그 아케이드 캐비닛은 인시던트 연습을 건조하고 가끔씩 체크만 하는 활동에서 매일 하는 신뢰도 의식으로 바꿔줍니다. 손으로 느끼고, 스토리에 몰입하며, 진짜로 재미있는 경험이 됩니다. 현실감을 유지한 채 인시던트 대응을 게임화함으로써, 당신은 다음을 얻게 됩니다.

• 실제 장애의 혼돈을 거울처럼 비추는 연습
• 근육 기억과 공통 언어의 축적
• 심리적 안전감과 실험 문화의 강화
• 사람과 도구 모두를 단단하게 만드는 효과

완벽한 시뮬레이터나 화려한 소프트웨어가 없어도 시작할 수 있습니다. 필요한 것은 종이 몇 장, 보드 하나, 그리고 신뢰도 연습을 다시 하고 싶은 아케이드 게임처럼 대하려는 의지뿐입니다.

캐비닛 앞에 서세요. “코인”을 넣으세요. 스토리를 시작하세요. 앞으로 맞이할 인시던트들이 그 선택에 감사하게 될 것입니다.