연필부터 꺼내는 인시던트 랩: 화면 없이도 돌릴 수 있는 신뢰성 훈련 설계하기

새벽 2시에 무언가가 깨졌을 때, 우리는 도구의 수준까지 올라가지 못합니다. 대신 연습해 둔 만큼만 반응하게 됩니다.

대부분의 팀에는 인시던트 대응 계획이 있습니다. 하지만 그 계획을 현실적인 조건에서 반복해서 연습해 본 팀은 훨씬 적습니다. 이때 도움이 되는 것이 바로 인시던트 대응 테이블탑(tabletop) 연습입니다. 비교적 낮은 부담으로, 실제로 일이 꼬였을 때 프로세스·커뮤니케이션·의사결정이 제대로 작동하는지 검증하는 시뮬레이션입니다.

이 글에서는 실용적인 접근법인 **“연필 우선 인시던트 랩(Pencil-First Incident Lab)”**을 소개합니다. 대시보드도, 터미널도, 전용 시뮬레이션 플랫폼도 없이, 종이·펜·공간(또는 가상 화이트보드)만으로 신뢰성과 인시던트 대응 드릴을 돌리는 방법입니다.

이런 저기술(로우테크) 드릴은 다음에 도움이 됩니다.

• 안전한 환경에서 인시던트 대응 계획을 검증
• 온콜 엔지니어의 자신감을 키우고 번아웃을 줄임
• 응답 시간 및 시스템 신뢰성 향상
• 실제 비상 상황 전에 역할과 커뮤니케이션 경로를 명확히 정리

또 다른 도구보다 테이블탑 연습이 더 중요한 이유

“인시던트 시뮬레이션”이라고 하면, 많은 사람이 카오스 엔지니어링 플랫폼이나 전체 시스템에 장애를 주는 복잡한 게임데이(Game Day)를 떠올립니다. 그런 방식도 유용하지만, 준비와 운영 부담이 상당합니다.

**테이블탑 연습(tabletop exercise)**은 의도적으로 단순합니다.

• 허구의 시나리오를 실제 상황처럼 차근차근 밟아가며
• 참여자들이 단계별로 “무엇을 할지” 구두로 설명하고
• 진행자는 새로운 정보, 제약, 변수들을 중간중간 추가하고
• 마지막에 무엇이 잘 됐고 무엇을 바꿔야 할지 함께 돌아봅니다.

테이블탑 연습이 중요한 이유는 명확합니다.

1. 계획은 검증되지 않은 가설에 불과하다
   인시던트 런북(runbook), 에스컬레이션 정책, 플레이북(playbook)은 시간 압박 속에서 실제로 실행해 보기 전까지는 모두 ‘이론’일 뿐입니다. 테이블탑 드릴을 하면 다음과 같은 것들이 드러납니다.

   • 빠진 단계
   • 애매한 책임 구분
   • 오래되었거나 현실과 안 맞는 문서

2. 실제 장애는 너무 비싼 교실이다
   프로덕션 장애에서만 배우려 하면, 그 대가는 다운타임, 스트레스, 명성 손상 등으로 매우 큽니다. 테이블탑 연습은 사용자에게 피해를 주지 않고 리허설할 수 있는 안전한 장입니다.

3. 신뢰성은 팀 스포츠다
   인시던트가 실패하는 이유는 순수한 기술 부족 때문인 경우가 거의 없습니다. 대부분은 커뮤니케이션 실패, 역할 불명확, 의사결정 마비 때문입니다. 협업과 조율을 연습하는 것은 디버깅 스킬만큼이나 중요합니다.

왜 “연필 우선”인가? 화면 없는 드릴의 가치

**연필 우선 드릴(Pencil-First Drill)**은 인시던트 시뮬레이션을 다음과 같은 도구만으로 진행하는 방식입니다.

• 종이
• 펜 또는 마커
• 프린트물(아키텍처 다이어그램, 런북, 조직도 등)
• 화이트보드 또는 포스트잇

노트북은 닫아 둡니다. 대시보드도, 로그도 보지 않습니다.

이 제약은 단점이 아니라 의도적인 설계입니다.

1. 도구보다 “프로세스”에 집중하게 해준다

인시던트는 단순히 “어디를 클릭하느냐”의 문제가 아닙니다. 본질은 다음과 같습니다.

• 누가 인시던트를 선언하는가?
• 누가 리드(Incident Commander)를 맡고, 누가 상황 기록을 남기며, 누가 이해관계자와 소통하는가?
• 롤백·페일오버·대기 중 무엇을 선택할지 어떻게 결정하는가?
• 언제, 누구에게 에스컬레이션할 것인가?

연필 우선 드릴은 팀이 **커맨드나 CLI 명령어 대신, “어떤 결정을 어떻게 내리는지”**를 말로 풀어내도록 강제합니다.

2. 번아웃을 줄여 주는 “근육 기억”을 만든다

온콜 번아웃은 종종 다음과 같은 감정에서 비롯됩니다.

• 준비가 안 된 느낌
• 페이저가 울릴까 봐 늘 불안한 마음
• 일이 틀어졌을 때 무엇을 기대하는지/요구하는지 모르는 상태

잘 설계된 드릴은 이런 점을 해소해 줍니다.

• 역할을 명확히 합니다. (예: “Incident Commander는 실제로 무엇을 하는 사람인가?”)
• 불확실한 상황에서 결정을 내리는 경험을 정상적인 것으로 만듭니다.
• 신입·주니어 팀원이 **“가짜 인시던트”**를 안전하게 경험할 수 있는 장을 제공합니다.

시간이 지나면, 이런 경험이 자신감으로 축적되고, 자신감 있는 팀은 번아웃이 훨씬 덜합니다.

3. 연습에 대한 진입 장벽을 대폭 낮춘다

특별한 환경이나 도구가 필요 없기 때문에, 다음과 같이 쉽게 진행할 수 있습니다.

• 정기 팀 미팅 시간에 곧바로 드릴을 돌리기
• 고객지원, 운영, 보안, 컴플라이언스 등 크로스 펑셔널 파트너까지 함께 참여시키기
• 예산이나 플랫폼 접근 권한을 기다리지 않고 바로 시작하기

이렇게 하면 신뢰성은 분기 행사가 아니라, 일상적인 습관이 됩니다.

현실적인 시나리오 기반 드릴 설계하기

가장 효과적인 테이블탑 연습은 “기분 나쁠 정도로 그럴듯한” 시나리오입니다. 실제로 우리 조직이 마주칠 수 있는 리스크에 기반해야 합니다.

아래는 쉽게 응용할 수 있는 대표적인 시나리오 유형입니다.

보안(Cybersecurity) 인시던트

• 랜섬웨어 공격: 핵심 DB 서버의 파일이 암호화되고, 24시간 안에 암호화폐로 돈을 보내라는 랜섬 노트가 뜬다.
• 피싱 캠페인: 여러 직원이 수상한 이메일을 신고하고, 그중 한 명은 링크를 클릭해 자격 증명을 입력했다고 고백한다.
• 내부자 위협(Insider Threat): 퇴사 예정인 직원 계정에서 평소와 다른 데이터 접근 패턴이 감지된다.

포커스 영역:

• 탐지 및 트라이아지(triage)
• 격리(Containment) vs. 비즈니스 연속성 유지
• 법무·PR·리더십과의 커뮤니케이션

인프라 및 신뢰성 장애

• 데이터베이스 리전 장애: 프라이머리 리전이 다운되고, 페일오버 구성이 제대로 작동하지 않는다.
• 잘못된 배포 설정: 새 릴리스 이후 에러율이 급상승하지만, 롤백이 깔끔하게 되지 않는다.
• 서드파티 의존성 장애: 결제 서비스나 인증(Auth) 서비스 등 핵심 외부 의존 서비스가 부분적으로 다운된다.

포커스 영역:

• 런북의 실효성
• 롤백 및 페일오버 절차
• 고객 커뮤니케이션 및 SLA 대응

자연재해 및 물리적 이벤트

• 데이터센터 침수 또는 화재: 특정 물리적 데이터센터가 망가지고, 백업도 같은 리전에 있다.
• 사무실 폐쇄: 폭풍/정전 등으로 인해 모든 인력이 제한된 접근 환경에서 원격 근무를 해야 한다.

포커스 영역:

• 비즈니스 연속성(BCP) 계획
• 원격 협업 및 의사소통
• 제공 서비스의 우선순위 선정

빠르게 시작하기 위한 시나리오 라이브러리 만들기

테이블탑 연습을 반복 가능하고 쉽게 운영하려면, 팀이 필요할 때 꺼내 쓸 수 있는 시나리오 라이브러리를 만들어 두는 것이 좋습니다.

예를 들어 다음과 같은 시나리오를 포함할 수 있습니다.

• 랜섬웨어 공격
• 자격 증명 탈취 및 피싱
• 내부자에 의한 데이터 유출
• API Rate Limit 초과/고갈
• DNS 설정 오류
• 클라우드 권한(Misconfiguration) 설정 오류
• 주요 외부 의존 서비스 장애

각 시나리오마다 다음을 문서화합니다.

1. 배경(Background)
   관련 시스템, 최근 변경 이력, 조직적 제약 사항 등 컨텍스트.

2. 초기 트리거(Initial Trigger)
   처음 나타나는 단서: 알림(alert), 고객 문의, 모니터링 대시보드 신호, 보안 리포트 등.

3. 타임라인 이벤트(Timeline Events)
   진행자가 시간 경과에 따라 단계적으로 공개할 수 있는 사전 스크립트(“인젝션”)들:

   • 새로운 알림 발생
   • 리더십의 에스컬레이션 요청
   • 상충되거나 불완전한 정보

4. 성공 기준(Success Criteria)
   “좋은 대응”이 무엇인지 정의합니다. 완벽함이 아니라, 명확한 커뮤니케이션, 책임 소유, 합리적인 의사결정을 기준으로 삼습니다.

5–10개 정도의 시나리오만 잘 정리해 두어도, 매번 새로 생각하지 않고 정기 드릴을 운영할 수 있습니다.

연필 우선 테이블탑 연습 진행 방법

다음과 같은 단순한 구조를 활용해 진행할 수 있습니다.

1. 세션 준비하기

• 시간: 60~90분 정도가 적당합니다.
• 필수 참여자(최소 구성):
  • 인시던트 커맨더(Incident Commander, IC)
  • 서기/노트테이커(Scribe)
  • 1차 온콜 엔지니어
  • 시나리오에 따라 보안/운영/지원 담당자 1명 이상
• 준비물:
  • 인쇄된 시나리오 설명(진행자 전용)
  • 시스템 다이어그램, 런북 프린트
  • 펜, 포스트잇, 화이트보드

2. 기본 규칙 세우기

시작할 때, 다음을 분명히 말해 둡니다.

• 이 연습은 **블레이멀리스(blameless)**입니다. 목표는 평가가 아니라 학습입니다.
• Slack, 이메일, Status Page 등의 커뮤니케이션 채널은 구두로 시뮬레이션합니다.
• 시간은 압축해 진행합니다. (예: “이 방에서의 5분 = 실제 인시던트에서의 30분”)

3. 시나리오를 따라 진행하기

1. 인시던트 트리거(발생) 알리기
   진행자가 초기 증상을 설명합니다.
   예: “현재 시각 10:15 a.m.입니다. 페이저가 울렸고, Checkout API의 500 에러율이 40%까지 치솟았습니다.”

2. ‘먼저 무엇을 하시겠습니까?’라고 묻기
   IC와 온콜 엔지니어가 첫 행동들을 차례대로 말하도록 합니다. 주요 행동은 화이트보드에 적습니다.

3. 새로운 정보 주입하기
   몇 분마다 사전에 준비한 이벤트를 하나씩 공개합니다.

   • 주요 고객이 장애를 강하게 항의함
   • 보안팀이 이상 로그인 패턴을 발견했다는 보고
   • 롤백 시도가 실패함

4. 의사결정을 집요하게 파고들기
   다음과 같은 질문으로 팀의 사고 과정을 드러내게 합니다.

   • 누구에게, 얼마나 자주 상황을 업데이트하고 있습니까?
   • 롤백/페일오버 계획은 무엇입니까?
   • 불확실한 상황에서 서로 다른 옵션 중 무엇을 기준으로 선택합니까?

5. 안정된 엔드 스테이트까지 진행하기
   팀이 아래를 달성하는 지점까지 시뮬레이션을 진행합니다.

   • 이슈를 어느 정도 컨테인하거나 완화
   • 적절한 커뮤니케이션 수행
   • 후속 작업(추가 조사, 개선 과제 등)을 식별

4. 디브리핑 및 학습 내용 정리

실제 가치는 **디브리핑(debrief)**에서 배가됩니다.

다음 질문을 중심으로 논의합니다.

• 무엇이 잘 작동했는가?
• 어디에서 막히거나 혼란스러웠는가?
• 역할(IC, 커뮤니케이션 담당, 기술 리드 등)은 명확했는가?
• 어떤 문서나 런북이 없었거나, 오래되었거나, 쓰기 어려웠는가?
• 우리의 인시던트 대응 프로세스에서 무엇을 바꾸고 싶은가?

이 논의를 구체적인 액션 아이템으로 전환합니다. 예를 들면:

• 런북을 업데이트하거나 새로 작성하기
• 에스컬레이션 경로를 명확히 정의하기
• Incident Commander 역할 정의/가이드를 보완하기
• 온콜 로테이션 또는 핸드오프 방식 조정하기

이 액션들은 팀에서 사용 중인 티켓 시스템·이슈 트래커에 등록하고, 명확한 오너를 지정합니다.

연필 우선 드릴을 “습관”으로 만들기

실질적인 신뢰성 향상을 얻으려면, 이런 연습이 가볍지만 정기적으로 이루어져야 합니다. 드물고 거창한 이벤트로 만들 필요는 없습니다.

실행 팁:

• 월 1회 시작: 팀당 월 1회, 60분짜리 드릴이면 충분히 강력한 출발점입니다.
• 시나리오를 번갈아 가며 진행: 보안, 인프라, 외부 의존 서비스 장애를 돌아가며 시뮬레이션합니다.
• 신입을 반드시 포함: 테이블탑 연습은 훌륭한 온보딩 도구입니다.
• 요약 공유: 연습 후 짧은 회고·요약을 내부 위키 등에 올려 팀 간 학습을 확산합니다.
• 변화 측정: 시간이 지나면서 다음을 추적해 봅니다.
  • 인시던트 선언(Declare Incident)까지 걸리는 평균 시간
  • 역할 명확성(드릴 후 설문조사 등으로 측정)
  • 실제 인시던트에서의 혼란 감소 정도

팀이 점점 익숙해지면, 다음과 같은 확장을 시도할 수 있습니다.

• 여러 팀이 함께 참여하는 크로스팀·조직 단위 드릴
• 더 복잡한 멀티스테이지 시나리오
• 가끔은 실제 시스템을 활용하는 라이브 게임데이(매우 신중하게)

하지만 핵심 습관은 변하지 않습니다. 연필과 화이트보드를 들고 인시던트를 말로 풀어보는 연습이 중심이 되어야 합니다.

결론: 신뢰성은 대시보드가 아니라 “연습”에서 시작된다

탄탄한 조직을 만들기 위해 꼭 고가의 시뮬레이션 플랫폼이 필요한 것은 아닙니다. 필요한 것은, 함께 모여 어려운 문제를 반복해서 걸어가 보는 일관된 연습입니다.

“연필 우선 인시던트 랩” 접근법은 다음을 가능하게 하는 저기술·고효과 방법론입니다.

• 인시던트 대응 계획을 검증하고 개선하기
• 온콜 불안과 번아웃을 줄이고, 자신감을 키우기
• 현실적인 반복 연습을 통해 시스템 신뢰성을 강화하기

작게 시작해 보세요.

1. 자주 마주칠 수 있는 리스크(랜섬웨어, 리전 장애, 잘못된 배포 등) 중 하나를 골라 시나리오를 만든다.
2. 60분을 캘린더에 블록해 둔다.
3. 화이트보드와 펜을 준비한다.
4. 드릴을 진행한 뒤, 배운 점을 꼭 기록한다.

이걸 매달 반복하면, 어떤 도구로도 쉽게 살 수 없는 것을 얻게 됩니다.
실제 장애가 터졌을 때도 침착함을 유지하고, 명확하게 소통하며, 효과적으로 대응할 줄 아는 팀 말입니다.