소개: 슬라이드 덱만으로는 부족할 때

대부분의 사고 대응 시뮬레이션(테이블탑 연습)은 뻔할 정도로 예측 가능합니다.

• 누군가 슬라이드 덱을 띄웁니다.
• 가상의 장애 상황을 설명합니다.
• 사람들이 자신이라면 어떻게 했을지를 말로 풀어갑니다.
• 모두 고개를 끄덕이고 각자 자리로 돌아갑니다.

그러다가 진짜 사고가 터지면 상황은 전혀 다릅니다.

• 새벽 3시 17분에 알람이 쏟아지고,
• 대시보드들끼리 서로 다른 말을 하고,
• 시니어 엔지니어들은 연락이 안 되고,
• 고객은 지금 이 순간 분노하고 있습니다.

이때는 슬라이드에서 "이렇게 하겠다"고 말했던 내용은 아무 소용이 없습니다. 정말 중요한 건, 사람들이 압박 속에서 실제로 어떻게 생각하고, 결정하고, 공조하느냐입니다.

오늘날 디지털 비즈니스는 가용성(업타임)에 생사가 달려 있고, 다운타임은 가장 비용이 큰 문제 중 하나입니다. 전통적인 테이블탑 시뮬레이션만으로는 부족합니다. 실제 위험은 없지만 체감은 실제에 가까운 사고 연습이 필요합니다.

여기서 등장하는 것이 바로 **아날로그 리스크 태엽 시계(analog risk wind‑up clock)**입니다. 책상 위에 올려두는 크기의, 손으로 직접 리셋해야만 끝나는 물리적 사고 시뮬레이터입니다.

왜 전통적인 사고 시뮬레이션은 한계를 보일까

클래식한 테이블탑 연습에는 몇 가지 고질적인 문제가 있습니다.

1. 위험이 낮고 아드레날린이 안 오른다
   모두가 이게 ‘연습’이라는 걸 압니다. 피부로 느껴지는 긴박감이 없습니다. 의사결정은 이론적으로만 느껴지고, 실제로는 아무 영향도 없는 것처럼 느껴집니다.

2. 슬라이드 덱 편향
   사고를 "먼저 X가 일어나고, 그다음 Y가 일어나며, 그래서 우리는 Z를 한다" 같은 선형적인 스토리로 다룹니다. 실제 장애는 훨씬 더 지저분하고, 동시다발적이며, 애매합니다.

3. 실제 온콜(on-call) 환경과의 괴리
   SRE와 온콜 엔지니어는 인터럽트가 계속 들어오는 혼돈, 불명확한 신호, 시간 압박 속을 헤쳐 나가야 합니다. 슬라이드 기반 시뮬레이션은 이런 현실을 재현하지 못합니다.

4. 근육 기억(머슬 메모리)이 잘 안 생긴다
   "이렇게 하겠다"고 말로만 하는 것과 실제로 손을 움직여 해보는 것은 완전히 다릅니다. 진짜 대응 본능을 기르려면 반복적이고 몸으로 하는 연습이 필요합니다.

시스템은 점점 더 복잡해지고 있습니다. 마이크로서비스, 멀티 클라우드, 수많은 서드파티 의존성까지. 이제 중요한 건 단순한 장애 대응이 아니라, 애매한 상황, 부분적인 장애, 스트레스 속에서의 사회적 공조에 대한 현실적인 훈련입니다.

다른 접근: 아날로그 리스크 태엽 시계

부엌 타이머와 컨트롤 패널, 그리고 보드게임이 뒤섞인 듯한 책상 크기의 장치를 상상해보세요.

• 태엽을 감으면 사고 시나리오가 시작됩니다.
• 시계가 째깍거리며 돌아가는 동안, 여러 리스크가 떠오릅니다. 가짜 대시보드가 “먹통”이 되고, 시뮬레이션된 서비스가 장애를 보이고, "임원" 경고등이 켜져 상태 보고를 요구합니다.
• 대응이 충분히 빠르지 않거나 적절하지 않다면, 각종 인디케이터가 점점 더 심각한 상태로 에스컬레이션됩니다.
• 시뮬레이션을 끝내려면 누군가가 실제로 시계를 손으로 리셋해야 합니다.

이것이 바로 아날로그 리스크 태엽 시계입니다. 장난감처럼 보일 수 있지만, 사고 훈련을 ‘말로만’이 아니라 몸으로 느끼게 만드는 진지한 도구입니다.

핵심 설계 속성은 다음과 같습니다.

• 물리성(Tangible): 화면 대신 노브, 스위치, 레버, 카드, 다이얼을 사용합니다.
• 시간 제한(Time‑bound): 실제로 째깍거리는 타이머가 사고의 속도를 결정합니다.
• 수동 리셋(Reset‑by‑hand): 장치를 리셋하는 행위가 곧 "사고 종료"를 선언하는 행위입니다.
• 리스크 기반(Risk‑framed): 모든 행동과 이벤트를 명시적인 리스크의 관점으로 표현합니다.

목표는 실제 프로덕션 환경을 완벽하게 모사하는 것이 아닙니다. 시간 압박 속에서, 리스크와 불확실성을 헤쳐 나가는 경험 자체를 모델링하는 것입니다.

왜 물리적·핸즈온 시뮬레이션이 더 효과적인가

책상 위에 놓는 아날로그 시뮬레이터는 슬라이드 덱을 여러 측면에서 능가할 수 있습니다.

1. 진짜 같은 긴박감을 만든다

째깍거리는 시계와 눈앞의 물리적 오브젝트는 생각보다 강력하게 긴장감을 끌어올립니다. 팀은 다음을 체감합니다.

• 시간이 줄어드는 압박,
• 지연과 우유부단함이 초래하는 영향,
• 어떤 조사를 먼저 택하느냐에 따른 결과.

우리 뇌는 몸을 움직이는 활동—토글을 올리고 내리고, "인시던트 카드"를 집어 들고, 다이얼을 다시 맞추는 행동—이 동반될 때 시뮬레이션을 더 "진짜"에 가깝게 인식합니다.

2. 팀 전원이 적극적으로 참여한다

시뮬레이터가 테이블 한가운데 놓여 있으면, 모든 사람이 보고, 만지고, 관여할 수 있습니다.

• 누군가는 "고객 영향"을 관리하고,
• 또 다른 사람은 "내부 커뮤니케이션"을 담당하며,
• 또 다른 사람은 "시스템" 신호를 트리아지합니다.

하나의 공유된 물리적 객체와 상태를 보는 경험은, 수동적으로 듣기만 하는 대신 자연스럽게 협조와 조율을 유도합니다.

3. 근육 기억을 강화한다

장치를 손으로 리셋해야 하기 때문에, 매번 다음과 같은 실제 절차를 몸으로 반복하게 됩니다.

1. 사고를 인지한다.
2. 사고를 선언한다(incident declaration).
3. 역할과 커뮤니케이션 채널을 할당한다.
4. 완화(mitigation) 단계를 실행한다.
5. 해결(resolved) 상태를 선언한다.
6. 장치를 리셋한다.

이 순서를 물리적으로 되풀이하면, 새벽 3시에 인지 자원이 바닥난 상태에서도 훨씬 더 쉽게 떠올릴 수 있습니다.

리스크를 공통 언어로 만들기

아날로그 리스크 시계의 가장 강력한 점 중 하나는, **리스크(risk)**를 중심 추상화로 명시적으로 사용하는 것입니다.

"서비스 A를 먼저 볼까, B를 먼저 볼까" 같은 논쟁 대신, 이렇게 대화할 수 있습니다.

• 가능성(Likelihood): 이 실패 모드가 더 크게 번질 가능성은 얼마나 되는가?
• 영향도(Impact): 고객이나 매출에 미칠 잠재적 영향은 어느 정도인가?
• 노출도(Exposure): 외부에서 얼마나 눈에 띄는가?
• 리스크 트레이드오프(Risk trade‑offs): 여기에 집중함으로써 다른 어떤 리스크를 키우고 있는가?

시뮬레이터는 이런 요소를 다음과 같이 코드화할 수 있습니다.

• 여러 개의 다이얼이 서로 다른 리스크 클래스(예: "고객 영향", "데이터 무결성", "평판")를 나타냅니다.
• 카드나 트리거는 구체적인 리스크 이벤트(예: "주요 고객이 지원팀에 전화", "규제 마감 시간 초과")에 대응합니다.
• 팀의 선택에 따라 각 리스크 다이얼이 올라가거나 내려갑니다.

시간이 지날수록 팀 내부에 이런 공통 화법이 자리 잡습니다.

• "다운타임 리스크를 줄이기 위해 데이터 리스크를 높이고 있어."
• "지금은 장기적인 근본 해결책보다 고객에게 보이는 완화 조치를 우선하고 있어."
• "코어 시스템을 되찾기 위해 앞으로 30분간 이 리스크는 감수하기로 하자."

이 공유된 리스크 프레이밍은 실제 사고 콜에서도 그대로 이어집니다.

위험 없이 안전하게: 복잡한 실패를 리허설하기

실제 시스템을 일부러 깨보는 라이브 파이어(live‑fire) 사고 훈련은 강력하지만, 항상 실용적이거나 안전하지는 않습니다.

• 진짜 고객 영향이 발생할 리스크가 큽니다.
• 경영진이 부담을 느끼거나 허용하지 않을 수 있습니다.
• 여러 팀과 시간대를 조율하는 오버헤드가 큽니다.

책상 크기의 아날로그 시뮬레이터는 그 중간 지점을 제공합니다.

• 의사결정 측면에서는 고도의 현실감을 유지하면서, 운영 리스크는 아주 낮게,
• 평소에는 다루기 어려운 극단적·저확률 시나리오도 자유롭게 실험할 수 있고,
• 빠르게 리셋하고 반복할 수 있습니다.

예를 들어 이런 시나리오를 연습할 수 있습니다.

• 서로 상충되는 대시보드와 모니터링 블라인드 스폿.
• 동시다발적인 장애(예: 서드파티 장애 + 내부 배포 실패).
• 커뮤니케이션 과부하: 임원, 법무, PR, 고객이 동시에 업데이트를 요구하는 상황.
• 팀 가용성 제한: 도메인 전문가 부재, 신규 온콜 엔지니어만 남은 상황 등.

시스템이 아날로그이고 구성 가능하다는 점 덕분에, 프로덕션을 건드리지 않고도 시나리오 덱을 교체하고, 시간 압박을 조절하고, 새로운 실패 패턴을 도입할 수 있습니다.

알람 피로를 줄이고 온콜 준비도를 높이기

SRE 스타일 환경에서 **알람 피로(alert fatigue)**는 실제로 치명적인 문제입니다.

• 엔지니어는 너무 많은 알람을 받습니다.
• 그중 상당수는 긴급하지 않거나 액션이 불가능합니다.
• 결국 모든 알람이 배경 소음처럼 느껴집니다.

아날로그 시뮬레이션은 다음과 같은 방식으로 기대치와 행동을 다시 정렬해줍니다.

1. ‘진짜로 급한 것’이 어떤 느낌인지 다시 학습한다
   고위험·고영향 사고를 시뮬레이션해봄으로써, 팀은 다시 한 번 "정말로 즉각적이고 협조적인 대응이 필요한 상황"이 무엇인지 감각을 되찾습니다.

2. 에스컬레이션(전파) 규율을 연습한다
   시계는 과도한 에스컬레이션(너무 많은 사람을 너무 일찍 불러 모으는 것)이나, 반대로 늦은 에스컬레이션(도움을 너무 늦게 요청하는 것)에 페널티를 줄 수 있습니다. 이를 통해 더 나은 습관을 형성합니다.

3. 신규 온콜 엔지니어의 자신감을 키운다
   새로운 팀원은 첫 실전 페이저(pager) 알람을 받기 전에, 안전한 환경에서 풀스케일 "장애"를 경험할 수 있습니다. 이는 불안을 낮추고, 이후 실전에서의 퍼포먼스를 높여줍니다.

그 결과, 실제 사고 시에는 패닉이 줄어들고, 보다 지속 가능한 온콜 문화가 자리잡습니다.

더 나은 시뮬레이션이 MTTR을 줄인다

비즈니스 관점에서는 메시지가 명확합니다. 더 나은 사고 시뮬레이션은 평균 복구 시간(MTTR, Mean Time to Resolution)을 줄입니다.

아날로그 리스크 태엽 시계가 실질적으로 기여하는 방식은 다음과 같습니다.

• 더 빠른 인지와 선언
  정기적으로 연습하는 팀은 패턴을 더 빨리 인식하고, "이건 사고다—지금부터 대응 모드로 전환하자"라고 선언하는 속도가 빨라집니다.

• 역할 수행의 선명도
  반복 훈련을 통해 인시던트 커맨더(Incident Commander), 커뮤니케이션 리드, 테크 리드 같은 역할 수행이 자연스러워집니다.

• 압박 속 의사결정의 날카로움
  리스크 기반 프레이밍 덕분에, 어떤 서비스를 희생할지, 언제 롤백할지, 어느 정도의 성능 저하를 받아들일지 같은 트레이드오프를 더 명료하게 판단합니다.

• 조율 오버헤드 감소
  평소에 조율 패턴을 반복적으로 리허설한 팀은, 어떻게 대응할지를 두고 논쟁하는 데 시간을 덜 쓰고, 실제 문제 해결에 더 많은 시간을 씁니다.

이 모든 것이 합쳐져, 실제 장애 시 더 짧은 다운타임, 적은 시행착오, 덜 혼란스러운 상황으로 이어집니다.

나만의 리스크 태엽 시계를 만드는 방법

이를 위해 거창한 하드웨어 랩이 꼭 필요한 것은 아닙니다. 작게 시작할 수 있습니다.

1. 핵심 리스크 축 정의하기
   3~5개의 핵심 리스크 차원을 정의합니다(예: 가용성, 데이터 무결성, 고객 영향, 평판, 컴플라이언스).

2. 물리적 대시보드 설계하기
   인쇄된 다이얼, 자석, 슬라이더, 저렴한 전자부품 등을 이용해 각 리스크가 높아지거나 낮아지는 모습을 표현합니다.

3. 타이머 도입하기
   일반 태엽 타이머나 아날로그 시계를 "사고 진행 시간" 드라이버로 사용합니다.

4. 시나리오 카드 만들기
   각 카드는 하나의 이벤트를 도입합니다. 에러 급증, 서드파티 장애, 임원 질문, 부분적 수정, 예기치 못한 부작용 등.

5. 리셋 메커니즘 정의하기
   무엇을 "해결됨(resolved)" 상태로 간주할지, 그리고 시계를 물리적으로 어떻게 리셋할지를 정합니다.

6. 짧고 자주 연습하기
   20~30분 단위로, 짧은 회고(retrospective)를 포함해 훈련합니다. 매번 하나의 학습 목표(예: 커뮤니케이션, 역할 명확성, 애매한 상황에서의 트리아지 등)에 집중합니다.

연습을 거듭하면서 점차 복잡도를 높일 수 있습니다. 더 정교한 리스크 모델, 분기형 시나리오, 간단한 디지털 도구와의 연동 등을 추가해보세요.

결론: 진짜 위기가 오기 전에, 리스크를 ‘진짜처럼’ 느껴보라

다운타임은 현대 디지털 비즈니스에 가장 큰 비용과 평판 손상을 안기는 문제 중 하나입니다. 이제 단지 말뿐인 대화를 시뮬레이션하는 슬라이드 기반 테이블탑 연습에만 의존해서는 안 됩니다.

책상 위의 아날로그 리스크 태엽 시계는 놀라울 정도로 강력한 대안을 제시합니다.

• 사고를 손에 잡힐 만큼 구체적이고 긴박하게 만들고,
• 리스크를 어려운 트레이드오프를 논의하는 공통 언어로 만들어주며,
• 복잡하고 지저분하며 고위험인 시나리오를 안전하게 리허설할 수 있게 하고,
• MTTR을 직접적으로 줄여주는 근육 기억을 길러줍니다.

다음 실제 장애가 터질 때까지 기다리며, 팀이 스트레스 상황에서 어떻게 행동할지 ‘그때 가서’ 알아볼 필요는 없습니다. 지금 당장 연습할 수 있습니다. 손을 움직이고, 시계를 돌리고, 리스크 다이얼이 치솟는 것을 보며, 배운 것이 충분히 몸에 밸 때 손으로 리셋하면 됩니다.

시스템이 점점 더 디지털화되는 시대에, 실패에 대비하는 가장 효과적인 방법이 의외로 아날로그일 때가 많습니다.