소개: 인시던트는 기술보다 ‘사람’의 문제일 때가 많다

대부분의 팀은 신뢰성을 툴링 문제로 다룹니다. 더 나은 대시보드, 더 똑똑한 알림, 더 많은 자동화. 물론 이런 것들은 중요하지만, 이야기의 일부만 설명해 줄 뿐입니다.

인시던트는 동시에 매우 사회적인 사건이기도 합니다. 사람들이 어떻게 문제를 감지하고, 정보를 공유하고, 행동을 조율하고, 혼란 속에서 상황을 이해해 가는지에 관한 이야기이기도 합니다. 무언가 망가지면 Slack 채널이 폭주하고, Zoom 콜이 열리며, 신뢰성은 더 이상 메트릭 그래프가 아니라 ‘단체 즉흥극’처럼 보이기 시작합니다.

**종이 회로 인시던트 랩(Paper Circuit Incident Lab)**은 이 즉흥극을 실제 화재가 나기 전에 연습해 보는 방법입니다.

코드, 콘솔, 복잡한 시뮬레이션 대신, 이 랩에서 사용하는 것은 다음과 같습니다.

• 종이
• 가위
• 테이프
• 손으로 그린 신호와 아이콘

이 단순한 재료만으로 팀은 시스템, 의존성, 커뮤니케이션 채널을 나타내는 ‘종이 회로’를 만들고, 장애 상황 시나리오를 재현하며 실제 재난 대응 훈련처럼 연습합니다. 초점은 실제 스택을 똑같이 복제하는 데 있는 것이 아니라, 신뢰성 의식(reliability rituals)을 프로토타이핑하는 데 있습니다. 스트레스 상황에서 드러나는 커뮤니케이션 패턴, 역할, 의사결정 방식을 미리 만들어 보고 시험해 보는 것입니다.

신뢰성이 툴만이 아니라 ‘의식’을 필요로 하는 이유

툴은 무슨 일이 일어나고 있는지 알려 줍니다. 의식은 그 상황에서 무엇을 할지 결정하게 도와줍니다.

신뢰성과 관련된 의식에는 예를 들면 이런 것들이 있습니다.

• 인시던트를 어떻게 선언할 것인가
• 누가 말하고, 누가 관찰할 것인가
• 이해관계자에게 업데이트를 어떻게 공유할 것인가
• 언제 계획을 멈추고 다시 평가할 것인가
• 어떻게 핸드오프하고, 어떻게 에스컬레이션할 것인가

이런 것들은 보통 실제 인시던트라는 ‘불 속에서의 학습’을 통해, 비공식적으로 몸에 배게 됩니다. 종이 회로 인시던트 랩은 이러한 요소들을 위험이 낮고, 기술 의존도가 낮은 환경으로 끌어와 팀이 의도적으로 탐색하고 다듬어 볼 수 있도록 합니다.

이 랩에서 검증하는 것은 “대시보드가 정확한가?”가 아니라, 불확실성을 마주한 인간의 행동 양상입니다.

• 지금 누가 책임자(Incident Commander)인지 모두 알고 있는가?
• 새로운 정보가 실제로는 어떻게 팀 안에 퍼져 나가는가?
• 누군가 헷갈리면 바로 말하는가, 아니면 조용히 있는가?
• 중요한 관점이 빠졌을 때, 누가 그 부재를 눈치채는가?

이걸 종이 시뮬레이션 안에서 연습하면, 실제 인시던트 현장에서는 잘 보이지 않던 것들이 훨씬 또렷하게 드러납니다.

재난 대응 훈련과 카오스 엔지니어링에서 빌려온 아이디어

종이 회로 인시던트 랩은 두 세계에서 아이디어를 가져왔습니다.

1. 재난 대응 훈련 (소방 훈련, 긴급 대응 연습 등)

   • 분명하지만 ‘모의’인 비상 상황
   • 역할 배정 (인시던트 커맨더, 커뮤니케이션 담당, 대응자 등)
   • 반복 연습을 통해 몸에 밴 프로토콜

2. 카오스 엔지니어링(Chaos Engineering) (시스템에 의도적으로 장애를 주입하는 기법)

   • 명확한 목적을 가진 장애 시뮬레이션
   • 스트레스 상황에서 시스템이 어떻게 반응하는지 관찰
   • 어디서 가정과 전제가 깨지는지 학습

하지만 이 랩은 프로덕션이나 스테이징 환경에 장애를 주입하는 대신, 종이로 만든 시스템 모델과 팀의 커뮤니케이션 네트워크에 장애를 주입합니다.

전형적인 종이 기반 장애 시나리오는 이런 식일 수 있습니다.

• 아무 말 없이 갑자기 응답을 멈춘 “서비스” 카드
• 분노의 피드백을 깜빡이며 보내기 시작한 “고객” 카드
• 알림이 늦게 오거나 오해를 부르는 “모니터링” 카드
• 연습 중간에 갑자기 등장하는 숨겨진 의존성 카드

참가자들은 평소 인시던트 대응을 하듯이 행동하지만, 모든 것은 종이 조각을 움직이고, 손그림 신호를 사용하고, 말로 주고받는 커뮤니케이션만으로 진행합니다.

이렇게 하면 실제 피해는 전혀 없고, 기술적 묘기보다 인간 간 조율과 협업에 온전히 집중할 수 있습니다.

종이 회로 만들기: 보이지 않는 것을 바깥으로 꺼내기

이 랩의 핵심 중 하나는 시스템과 팀의 행동을 눈에 보이는 물리적 형태로 외재화한다는 점입니다.

테이블 위에 이런 것들을 배치할 수 있습니다.

• 서비스 카드: 각 API, 데이터베이스, 컴포넌트를 나타내는 카드
• 의존성 라인: 서비스 사이를 잇는 테이프 조각
• 신호 아이콘: 알림(alert), 로그, 고객 불만, 상태 페이지 등을 나타내는 손그림 심볼
• 역할 배지: 온콜 엔지니어, 인시던트 커맨더, 커뮤니케이션 리드, 프로덕트 담당, 고객지원(서포트) 담당 등을 표시하는 종이 배지

시뮬레이션 속 인시던트가 흘러가면서, 이 요소들을 물리적으로 움직이고 메모를 더하게 됩니다.

• 성능 저하가 일어난 의존성 라인에 빨간 표시를 한다.
• 상태를 알 수 없게 된 서비스 카드를 뒤집어 “알 수 없음(unknown state)”으로 표시한다.
• 모니터링 알림이 도착했다면 신호 아이콘을 테이블 위에 올려둔다.
• 누군가 새로운 정보를 공유하면 그 내용이 적힌 포스트잇을 붙인다.

세션이 끝나면 테이블은 그날의 인시던트가 어떻게 경험되었는지에 대한 지도가 됩니다.

• 어떤 신호가 가장 먼저 왔는지
• 누가 그 신호를 처음 들었는지
• 커뮤니케이션이 어디에서 막혔는지
• 어떤 의존성은 망가지기 전까지 아무도 존재를 몰랐는지

이런 시각적 흔적 덕분에 의존성, 장애 양상, 커뮤니케이션의 구멍이 실시간 Slack 스레드나 알림 폭주 상황보다 훨씬 더 쉽게 눈에 들어옵니다.

역할, 에스컬레이션 경로, 커뮤니케이션 패턴을 실험하는 공간

종이 회로 인시던트 랩은 단순한 시뮬레이션을 넘어서, 실험을 위한 샌드박스입니다.

모든 것이 종이와 테이프로 되어 있기 때문에, 다른 구조를 빠르게 시도해 볼 수 있습니다.

• 역할 바꾸기: 프로덕트 매니저가 인시던트 커맨더를 맡게 해 보거나, 고객지원 담당이 외부 커뮤니케이션을 전담하게 해 본다.
• 에스컬레이션 경로 바꾸기: 에스컬레이션 단계를 하나 넣거나 빼 보고, 응답 속도와 명확성이 어떻게 달라지는지 본다.
• 커뮤니케이션 채널 실험: 한 사람씩 돌아가며 말하는 ‘무전기 스타일(라디오 디시플린)’과 자유 발언 방식의 차이를 체험해 본다.
• 업데이트 주기 제약: “무슨 일이 있어도 10분마다 상태 업데이트를 해야 한다”는 조건을 걸어 보면 어떤 일이 벌어지는지 확인한다.

각 실험은 실제 프로세스 문서나 툴에 반영하기 전에, 신뢰성 의식을 미리 프로토타이핑하는 방법입니다.

회의실에서 새 온콜 정책을 두고 논쟁만 하는 대신, 이렇게 말할 수 있습니다.

“이 인시던트를 두 번 시뮬레이션해 보죠. 한 번은 지금 룰대로, 한 번은 새 제안대로. 뭐가 다르게 느껴지는지 보면서 이야기해요.”

형식이 가볍고 약간은 놀이 같기 때문에, 참가자들은 더 쉽게 이런 것들을 시도할 수 있습니다.

• 평소라면 안 나올 법한 역할 조합을 제안한다.
• 헷갈리는 패턴을 솔직하게 지적한다.
• 자신이 길을 잃었거나 과부하 상태라는 사실을 인정한다.

이런 개방성이야말로, 다음 실제 대형 장애를 기다리지 않고도 신뢰성 실천을 개선하고 싶다면 팀에 꼭 필요한 요소입니다.

직군을 가로지르는 ‘공유 시각 언어’ 만들기

신뢰성 문제는 종종 엔지니어링 조직 내부에 갇혀 있지만, 그 파급 효과는 조직 전체로 번져 나갑니다.

종이 회로 인시던트 랩은 의도적으로 가볍고 매우 시각적이라, 다음과 같은 다양한 팀이 함께 참여하기 쉽습니다.

• 엔지니어링, SRE
• 고객지원(커스터머 서포트)
• 프로덕트 매니지먼트
• 운영(Operations)
• 마케팅, 대외 커뮤니케이션 담당

비엔지니어에게 로그를 읽거나 CPU 그래프를 해석해 달라고 부탁하는 대신, 모두가 이해할 수 있는 공유 시각 모델로 초대하는 셈입니다.

• 고객지원 담당자는 “고객 불만” 아이콘을, 자신이 실제로 문제를 감지했을 시점에 다이어그램 위에 놓을 수 있습니다.
• 프로덕트 매니저는 특정 서비스에 “고가치 고객 세그먼트” 마커를 붙여, 영향도가 높은 부분을 표시할 수 있습니다.
• 커뮤니케이션 담당자는 어느 시점에, 어떤 채널로 외부 공지를 낼지 보여 주는 “상태 업데이트” 카드를 추가할 수 있습니다.

이렇게 하면 신뢰성 업무에 대한 공유된 이해가 생깁니다.

• 비엔지니어는 의존성 지도와 전체 시스템 복잡성이 얼마나 큰지 직접 보게 됩니다.
• 엔지니어는 문제가 얼마나 빨리 고객과 리더십에게 드러나는지 깨닫게 됩니다.
• 모두가 혼선이나 어긋난 가정이 어떤 비용을 만들어 내는지 목격합니다.

세션이 끝날 즈음에는, 신뢰성이 더 이상 엔지니어의 전유물이 아니라 조직 전체가 함께 짊어지는 책임처럼 느껴집니다.

종이에서 실제 운영으로: 아날로그 인사이트를 실천으로 옮기기

종이 회로 인시던트 랩의 궁극적인 목표는 종이 훈련을 잘하게 되는 것이 아닙니다. 이 과정을 통해 현실 세계의 신뢰성을 높이는 실행 가능한 인사이트를 끌어내는 것입니다.

세션 후에는 배운 점을 다음과 같은 구체적인 변화로 옮길 수 있습니다.

• 런북(Runbook)

  • 시뮬레이션에서 모호했던 의사결정 지점을 문서화합니다.
  • “X라면 Y를 하라” 식으로 자연스럽게 굳어진 유용한 패턴을 정리합니다.

• 알림(Alerts) 규칙

  • 너무 늦게 도착했거나 너무 시끄러웠던 신호를 찾아냅니다.
  • “망가지기 전까지 존재를 몰랐던” 의존성에 대해 알림을 추가하거나 개선합니다.

• 온콜(ON-CALL) 운영 방식

  • 특정 역할이 과부하를 겪었다면, 온콜 로테이션 규모나 백업 역할 구성을 조정합니다.
  • 누가 언제 인시던트 커맨더가 되는지 더 명확히 합니다.

• 포스트 인시던트 리뷰(Post‑Incident Review)

  • 루트코즈뿐 아니라, 커뮤니케이션 경로와 역할 명확성에 대한 질문을 포함합니다.
  • 종이 지도를 참고해 새로운 리뷰 템플릿과 시각 자료를 만듭니다.

종이 시뮬레이션은 매우 구체적이고 시각적이기 때문에, 다음과 같이 말하기 쉬워집니다.

“종이 연습에서는 항상 커뮤니케이션이 두 단계씩 늦었어요. 실제 프로세스에서 이게 반복되지 않으려면 뭘 바꿔야 할까요?”

이렇게 해서 추상적인 프로세스 논의와 몸으로 겪은 경험 사이의 간극이 줄어듭니다. 개선 작업이 이론이 아니라, 손에 잡히는 현실처럼 느껴집니다.

스스로 종이 회로 인시던트 랩 시작해 보기

큰 예산이나 전문 교육 없이도 시작할 수 있습니다. 간단한 파일럿은 대략 이런 흐름일 수 있습니다.

1. 재료 모으기

   • 종이, 인덱스 카드, 포스트잇
   • 마커, 테이프, 가위

2. 시스템과 역할 스케치하기

   • 핵심 서비스와 의존성을 카드로 만들기
   • 포함하고 싶은 역할(온콜, 인시던트 커맨더, 고객지원, 프로덕트, 커뮤니케이션 등)을 배지로 만들기

3. 시나리오 설계하기

   • 현실적이지만 범위는 제한된 장애를 하나 고르기 (예: 핵심 의존성이 느려진다거나, 특정 기능이 부분적으로 실패하는 상황)
   • 어떤 신호가 언제 등장할지 정하기 (알림, 고객 불만, 이상한 메트릭 등)

4. 시뮬레이션 실행하기

   • 역할을 배정한다.
   • 신호를 단계적으로 흘려보내고, 팀이 실제 상황처럼 대응하게 한다.
   • 발생한 행동과 변화를 테이블 위에 시각적으로 기록한다.

5. 되돌아보고 인사이트 정리하기 (Debrief)

   • 무엇이 가장 헷갈렸는가?
   • 커뮤니케이션은 어디에서 끊어졌는가?
   • 빠져 있었던 역할이나 신호는 무엇이었는가?
   • 이 경험을 바탕으로 실제 프로세스에서 무엇을 바꾸고 싶은가?

한 번의 60–90분 세션만으로도 놀라운 블라인드 스팟이 드러나고, 적은 노력으로도 적용 가능한 개선점들이 쏟아질 수 있습니다.

결론: 신뢰성이 실제로 ‘살아 있는 곳’에서 연습하기

신뢰성은 코드, 그래프, 자동화 안에만 존재하지 않습니다. 사람들이 불확실성 속에서 어떻게 함께 움직이는가, 즉 무언가 잘못되었을 때 어떻게 감지하고, 해석하고, 함께 행동하는지에 깃들어 있습니다.

종이 회로 인시던트 랩은 다음을 가능하게 해 줍니다.

• 이런 사회적·경험적 측면을 눈에 보이게 만들고
• 위험이 낮은 환경에서 인시던트 대응을 반복 연습하며
• 다른 역할 구성과 커뮤니케이션 패턴을 실험하고
• 직군을 가로지르는 공유 이해를 만들며
• 아날로그 인사이트를 더 나은 런북, 알림, 온콜 운영, 리뷰로 연결하는 것

‘랩’의 도구를 가위, 테이프, 손그림 신호 정도로 줄이면, 장비와 복잡성에서 오는 부담이 크게 줄어듭니다. 그 덕분에 정말 중요한 것이 무엇인지 더 잘 보입니다. 바로, 모든 것이 흔들릴 때도 팀이 기대고 있는 신뢰성 의식과 협업의 리추얼입니다.

만약 지금도 인시던트가 “리허설 없는 즉흥극”처럼 느껴진다면, 종이를 몇 장 꺼내어 다음 장애가 오기 전에 갖추고 싶은 신뢰성 의식을 프로토타이핑해 볼 때인지 모릅니다.