아날로그 신뢰성 핀볼 파arlor

당신의 인시던트 대응 프로세스를 오래된 오락실 핀볼 머신이라고 상상해 보자.

공(ball)은 인시던트다. 혼란스럽고, 빠르고, 예측 불가능하다.

범퍼(bumper)는 각종 세이프가드, 알림(alert), 런북(runbook), 그리고 의사결정 포인트다. 각각이 공의 궤적을 바꿔 놓는다.

틸트 센서(tilt sensor)는 남용과 폭주를 막기 위한 가드레일이다.

그럼 리플레이(replay)는? 잘 설계된 인시던트 대응을 통해 얻는 사후 학습이자, 신뢰성을 위해 잘 플레이한 것에 대한 보상이다.

이것이 바로 **아날로그 신뢰성 핀볼 파arlor(Analog Reliability Pinball Parlor)**다. 혼돈스러운 인시던트를 트리거부터 완전한 해결까지 전 구간을 잇는 "범퍼-투-범퍼(bumper-to-bumper)" 종이 드릴로 설계하는 비유이자 실제 실천 방법이다. 안전하게, 창의적으로, 그리고 프로덕션 환경을 건드리지 않고.

오늘날 세상은 각종 툴과 대시보드에 집착하지만, 이 방법은 의도적으로 로우테크(low-tech)다. 핀볼의 혁신, 카오스 엔지니어링, 신뢰성 설계에서 아이디어를 가져와, 팀이 단순히 사고에 반응하는 수준을 넘어, 사고를 미리 예상하고 대비하도록 돕는다.

핀볼이 의외로 신뢰성의 훌륭한 선생님인 이유

고전 핀볼 머신은 가장 초기의 복잡한 인터랙티브 시스템 가운데 하나였다. 이들은 오사용, 예기치 못한 물리적 행동, 그리고 점수를 조작하려는 플레이어까지 모두 다뤄야 했다.

핀볼에서 나온 몇 가지 핵심 아이디어는 인시던트 대응에 거의 그대로 적용할 수 있다.

1. 틸트 센서: 오용을 일찍 감지하라

핀볼 머신에는 플레이어가 공의 움직임을 바꾸려고 기계를 세게 치거나 들어 올리는 행동을 막기 위해 **틸트 센서(tilt sensor)**가 도입됐다. 너무 세게 건드리면 게임이 아예 잠겨 버린다.

신뢰성 관점에서 이것이 의미하는 바는 다음과 같다.

• 안전하지 않은 행동을 조기에 감지 (예: 폭주하는 스크립트, 반복되는 배포 실패)
• 연쇄 장애가 나기 전에 위험한 행동을 멈추는 가드레일
• 명확한 피드백: 언제 시스템을 "틸트"시켰는지 명확히 알 수 있다

좋은 인시던트 대응 프로세스에는 이에 상응하는 틸트 센서가 있다.

• 위험한 오퍼레이션에 대한 rate limit
• 반복 실패 후 자동 롤백(automated rollback)
• 파괴적 명령에 대한 접근 제어와 승인 플로우

2. 리플레이: 탄탄한 운영에 보상하라

핀볼의 **무료 게임 리플레이(free-game replay)**는 피드백 루프의 한 형태였다. 잘 플레이하면 점수뿐 아니라 한 번 더 플레이할 기회를 보상받는다.

오늘날 신뢰성 관점에서는 이렇게 볼 수 있다.

• 잘 처리된 인시던트는 단순히 해결에서 끝나지 않고 학습과 개선을 만들어내야 한다
• 팀은 "히어로 플레이"가 아니라 좋은 프로세스를 실행한 것에 대해 보상을 받아야 한다
• 인시던트 사후 리뷰(post-incident review)는 일종의 리플레이다. 분석하고, 배우고, 더 나은 범퍼를 설계해 다시 시도한다.

3. 물리적 범퍼: 반응만이 아니라 경로를 설계하라

핀볼은 그냥 혼돈이 아니다. **설계된 혼돈(guided chaos)**이다. 범퍼, 램프, 타깃이 공의 경로를 형성한다.

마찬가지로, 혼돈스러운 인시던트도 단순한 랜덤 재난으로만 취급해서는 안 된다. 다음을 설계할 수 있다.

• 명확한 의사결정 포인트 (누가, 언제, 무엇을 결정하는가)
• 세이프가드 (블라스트 레디우스가 커지는 것을 무엇이 막는가)
• 피드백 루프 (어떤 정보가 대응자와 시스템으로 다시 돌아오는가)

여기에서 범퍼-투-범퍼 종이 드릴이 등장한다.

"범퍼-투-범퍼" 종이 드릴이란 무엇인가?

**범퍼-투-범퍼 종이 드릴(bumper-to-bumper paper drill)**은 첫 증상부터 최종 해결과 후속 조치까지, 인시던트의 전체 시나리오를 종이 위에 모두 매핑하고, 설계하고, 리허설하는 것이다.

인시던트를 하나의 핀볼 테이블로 그린다고 생각해 보라.

• 공(ball): 초기 인시던트 트리거 (예: 특정 리전의 부분 장애, 잘못된 배포, 데이터 손상)
• 범퍼(bumper): 알림(alert), 런북(runbook), 온콜 핸드오프, 의사결정 체크포인트, 자동화
• 플리퍼(flipper): 인시던트를 통제 상태로 유지하기 위해 대응자가 취할 수 있는 액션들
• 틸트 센서(tilt sensor): 팀이나 시스템이 상황을 더 악화시키지 못하도록 막는 요소
• 리플레이(replay): 인시던트 이후에 배우고 바꾸는 것들

이 모든 것을 프로덕션을 전혀 건드리지 않고 탐색한다. 화이트보드, 포스트잇, 인덱스 카드, 그리고 구조화된 대화만 있으면 된다.

디지털 시대에도 종이 기반 드릴이 중요한 이유

디지털 카오스 툴은 강력하지만, 출발점이 되어서는 안 된다.

종이 드릴은 다음과 같은 장점을 제공한다.

• 프로덕션에 대한 리스크 제로: 실제로 일어나기 힘든 최악의 시나리오까지도 안전하게 탐색할 수 있다.
• 낮은 비용, 높은 상상력: 복잡한 툴 체인을 꾸리지 않고도, 다양한 실패를 충분히 상상해 볼 수 있다.
• 포용적인 협업: SRE, 개발자, 프로덕트, 고객 지원, 리더십까지 누구나 참여할 수 있다.
• 툴이 아닌 사고에 집중: 인간의 추론과 프로세스 설계를 구현과 분리해서 생각할 수 있다.

스테이징이나 프로덕션에서 카오스 실험을 실행하기 전에, 먼저 종이 위에서 같은 실험을 해볼 수 있다. 이 과정에서 종종 누락된 세이프가드, 모호한 책임, 툴만으로는 드러나지 않던 블라인드 스폿이 드러난다.

나만의 아날로그 신뢰성 핀볼 테이블 설계하기

아날로그 핀볼 스타일 드릴을 설계하는 단계별 접근 방법을 보자.

1단계: 인시던트 트리거 정의하기 (공을 쏘는 순간)

현실적이지만 도전적인 실패 시나리오를 하나 고른다. 예를 들어:

• 한 리전에서 서서히 진행되는 부분 장애
• 조용히 데이터를 손상시키는 배포
• 결제/인증/DNS 같은 핵심 의존성이 간헐적으로 실패하는 상황
• 공유 리소스를 압도하는 갑작스러운 트래픽 폭증

이 트리거를 명확한 시작 이벤트로 적는다. 무슨 일이 일어나고 있는지, 사용자는 무엇을 겪는지, 모니터링에는 (있다면) 무엇이 보이는지를 포함해서.

2단계: 첫 번째 범퍼 매핑하기 — 감지와 알림

다음 질문을 던져 보자.

• 이 인시던트는 처음에 어떻게 감지되는가? 모니터링? 고객 지원? 소셜 미디어?
• 가장 먼저 누가 페이지를 받거나 알림을 받는가?
• 그 사람이 가장 먼저 보는 대시보드나 런북은 무엇인가?

종이 위에 이것들을 박스나 "범퍼"로 그린 뒤, 화살표로 연결한다.

3단계: 의사결정 포인트와 플리퍼 추가하기

각 단계마다 대응자가 할 수 있는 일을 정리한다.

• 어떤 결정이 필요할까? (에스컬레이션? 롤백? 다른 팀 호출?)
• 이 시점에서 가능한 액션은 무엇인가? (피처 플래그 off, 트래픽 우회, rate limit 적용, 페일오버)
• 이때 그들이 가지고 있는 정보는 무엇이며, 무엇이 없는가?

각 결정을 분기 노드로 표현한다.

• X를 하면 그 다음에는 무엇이 일어나는가?
• 지연하거나 Y를 택하면 어떤 결과가 나오는가?

이것이 바로 플리퍼 로직이다. 공이 바로 빠져나가지 않도록, 게임을 계속 이어 가게 하는 방식이다.

4단계: 틸트 조건과 세이프가드 정의하기

이제 이렇게 물어보자. "이 상황에서 핀볼 머신이 틸트된다는 건 어떤 행동일까?"

예를 들면 다음과 같다.

• 확인 과정 없이 파괴적인 스크립트를 실행하는 것
• 블라스트 레디우스를 이해하지 못한 채 무작정 롤백하는 것
• 중요 서비스들을 반복해서 재시작하여 연쇄 장애를 유발하는 것
• 인시던트 중 검토 없이 새 배포를 강행하는 것

그리고 이에 대한 세이프가드를 설계한다.

• 파괴적 액션에 대한 승인 단계 추가
• 배포나 롤백 전에 자동으로 실행되는 체크
• 불확실성이 높은 상황에서 적용되는 명확한 "멈춤, 에스컬레이트, 재평가" 규칙

이들을 틸트 범퍼로 그려라. 특정 조건이 충족되면 게임이 특정 행동을 잠그고, 다른 경로를 강제한다. (예: 인시던트 커맨더 호출, 배포 중단 등)

5단계: 피드백 루프와 Observability 개선점 추가하기

좋은 핀볼 테이블은 점수, 불빛, 소리 등으로 끊임없이 피드백을 준다.

다시 물어보자.

• 각 단계에서 시스템으로부터 **어떤 신호(signal)**를 받는가?
• 우리가 취한 액션이 도움이 되었는지, 악화시켰는지, 아무 영향도 없었는지 알 수 있는가?
• 더 나은 결정을 내리기 위해 어떤 텔레메트리(telemetry)가 부족한가?

이 갭들을 표시해 두자. 이들은 드릴 이후 실행할 구체적인 신뢰성 개선 작업이 된다.

• 새로운 대시보드나 메트릭 추가
• 알림 라우팅/그루핑 개선
• 중요 경로에 대한 로그 강화

6단계: 여러 경로로 플레이해 보기

이제 그룹으로 드릴을 실행해 보자.

• 퍼실리테이터 한 명이 인시던트를 내레이션한다.
  • "지금은 새벽 2시 15분. EU 리전에서 레이턴시가 치솟고 있습니다. 첫 번째 알림이 결제 온콜에게 도착했습니다. 이제 어떻게 할까요?"
• 각 의사결정 포인트마다 팀이 어떤 액션을 할지 선택하게 한다.
• 종이 위에 그려 둔 맵을 따라, 그 결과를 추적한다.

그리고 나서 되감기하고 리플레이한다.

• 다른 결정을 시도해 본다. ("여기서 롤백을 선택했다면 어떻게 되었을까?")
• 어떤 경로가 더 빠르고 안전한 해결로 이어지는지 비교한다.
• 의사결정이 충분한 정보에 근거한 것이었는지, 아니면 그냥 추측에 가까웠는지 표시한다.

이 과정을 거치면 핀볼 테이블이 어디에서 불공정하고, 혼란스럽고, 범퍼가 부족한지 금방 드러난다.

카오스 엔지니어링과의 연결 (아직은 아무것도 부수지 않고)

카오스 엔지니어링은 고의로 실패를 주입해 시스템의 약점을 발견하는 것이다.

아날로그 핀볼 파arlor는 실제 카오스 실험에 들어가기 전에 하는 전 단계다.

1. 먼저 종이 위에서 실험을 설계한다

   • 실패 모드를 정의한다.
   • 예상되는 감지–대응–복구 플로우를 매핑한다.
   • "좋은 결과"가 무엇인지 정의한다. (탐지 시간, 완화 시간, 영향 범위)

2. 팀과 기대치를 검증한다

   • 누가 어떤 결정을 책임지는지 모두 동의하는가?
   • 사용할 툴과 절차를 모두 알고 있는가?
   • 세이프가드가 실제로 작동할 거라는 신뢰가 있는가?

3. 그 다음에야 제한된 카오스 테스트를 스테이징이나 프로덕션에서 실행한다.

   • 실제 결과를 종이 위 모델과 비교한다.
   • 실제로 일어난 일을 반영해 핀볼 맵을 업데이트한다.

이처럼 구조화된 로우테크 사고와 측정 가능한 하이테크 실험을 결합하는 것은 매우 강력하다. 조직을 다음과 같이 바꿔 놓는다.

"일 나면 그때 가서 처리하자"
에서
"우리는 이미 이 경로를 여러 번 걸어봤고, 범퍼를 설계해 두었고, 아직도 취약한 곳이 어디인지 알고 있다"로.

신뢰성 설계 원칙을 드러나게 만들기

아날로그 신뢰성 핀볼 파arlor에서 최대한 많은 것을 얻고 싶다면, 각 드릴에 일부러 신뢰성 원칙들을 녹여 넣어야 한다.

• Fail-safe default: 가장 안전하거나 피해가 적은 행동이 자동으로 선택되도록 설계한다.
• Bulkhead와 blast radius 제한: 실패가 어떻게 격리되는지—혹은 격리되지 않는지—모델링하고, 확산을 막는 범퍼를 추가한다.
• Graceful degradation: 완전한 장애 대신, 부분 기능 제공을 기본 전략으로 삼는다.
• 인적 요소(Human factors): 인지 부하, 피로, 불명확한 오너십, 커뮤니케이션 붕괴 등을 실제 실패 모드로 인정한다.
• 지속적인 학습(Continuous learning): 모든 드릴을 리플레이로 취급하고, 그 결과로 테이블이 반드시 바뀌어야 한다. 새로운 범퍼, 더 나은 틸트 로직, 더 명확한 램프.

시간이 지나면, 종이 드릴들은 시스템 동작, 설계 옵션, 조직 학습을 담은 살아 있는 카탈로그가 된다.

결론: 당신만의 핀볼 파arlor를 만들자

인시던트 대응과 카오스 실천을 개선하기 위해 새로운 툴이 꼭 필요한 것은 아니다. 필요한 것은 시간, 종이, 그리고 핀볼 디자이너처럼 사고하려는 의지다.

• 인시던트를 범퍼에서 범퍼까지 끝까지 맵핑하라.
• 파국적인 오용을 막는 틸트 센서를 추가하라.
• 모든 인시던트와 드릴이 구체적인 개선으로 이어지도록 리플레이를 설계하라.
• 프로덕션을 건드리기 전에, 아날로그 드릴로 카오스 실험을 프로토타이핑하라.

이렇게 하면, 혼돈스러운 인시던트는 더 이상 알 수 없는 블랙 스완이 아니라, 잘 이해된 핀볼 테이블이 된다. 여전히 시끄럽고 예측 불가능하지만, 탐색 가능하고, 학습 가능하며, 결국 이길 수 있는 게임으로 바뀐다.

지금 바로 아날로그 신뢰성 핀볼 파arlor를 세팅하고, 팀을 테이블 주변에 모으고, 종이 공을 몇 번 쏴 보자. 다음에 실제 인시던트가 터졌을 때, 동전을 넣기 전에 게임 연습을 해 둔 것을 분명히 감사하게 될 것이다.