기억하는 천장: 왜 인시던트 플래니터리움이 필요한가

대부분의 조직은 장애 히스토리를 도구 안에 가둬 둡니다. 티켓 시스템, 포스트모템 문서, 대시보드, 몇 명만 다시 열어보는 슬라이드 자료 속 어딘가에 남겨 두죠.

이제 그 장애 히스토리가 우리 머리 위에 떠 있다고 상상해 보세요.

또 하나의 대시보드 탭도 아니고, Confluence 어딘가에 파묻혀 있는 것도 아닙니다. 말 그대로 천장 위에 있는 겁니다. 지난 장애들이 별로 변해 떠 있는 어두운 돔(dome). 각 별은 조용한 경고입니다.
“이런 일이 있었다. 이렇게 망가졌고, 이렇게 복구했다. 네가 다시 나를 필요로 하기 전에 나에게서 배워라.”

이것이 아날로그 인시던트 스토리 플래니터리움(Analog Incident Story Planetarium) 의 아이디어입니다. 단순히 인시던트를 분석하는 데서 끝나지 않고, 그로부터 배울 수 있게 설계된 물리적이고 시각적인, 반응 중심의 운영 히스토리 지도입니다.

반응 중심 분류 체계: 무엇이 아니라 ‘어떻게 불을 껐는가’로 묶기

대부분의 인시던트 카탈로그는 루트 원인(root cause) 중심으로 정리됩니다. 여기서는 누락된 null 체크, 저기서는 잘못 설정된 방화벽, 어딘가에서는 쿼터가 소진된 의존성 같은 식이죠. 물론 유용한 방식입니다. 하지만 이야기를 절반만 들려줄 뿐입니다.

플래니터리움은 대신 반응 중심(response‑centric) 분류 체계에서 출발합니다. 인시던트를 다음 기준으로 묶습니다.

• 어떻게 감지되었는지 (고객 제보, synthetic 체크, 로그, 이상 징후 감지 등)
• 어떻게 확산을 막았는지 (트래픽 셰이핑, 기능 플래그, 서킷 브레이커, 롤백 등)
• 어떻게 최종 해결했는지 (설정 수정, 코드 패치, 인프라 스케일링, 벤더 에스컬레이션 등)
• 무엇이 더 나빠지는 것을 막아줬는지 (런북, 카오스 드릴, 카나리 릴리스, 레이트 리미팅 등)

무엇이 망가졌는지에만 집중하는 대신 어떻게 대응했는지에 초점을 맞추면, 장애는 더 이상 단순한 실수 목록이 아니라 회복탄력성을 위한 학습 데이터로 재구성됩니다.

플래니터리움에서는 이 분류 체계가 별자리(constellation) 를 만듭니다.

• 롤백의 별자리: 빠른 롤백으로 하루를 구한 인시던트들
• 휴먼 인 더 루프(Human‑in‑the‑Loop) 세이브 클러스터: 온콜 담당자의 스킬과 임기응변이 결정적이었던 장애들
• 슬로우 번 저하(Slow‑Burn Degradation)의 은하: 오랜 시간에 걸친 저강도 장애로부터 관측 가능성(observability) 갭을 배운 사례들

당신은 더 이상 ‘누가 잘못했는지’를 바라보지 않습니다. 대신 팀이 가진 집단적 대응 레퍼토리를 보고 있는 겁니다.

장애를 별로 찍기: 정밀한 시각 언어 만들기

각 인시던트는 천장 위의 별 하나가 됩니다. 배치는 랜덤이 아닙니다. 데이터에 의해 결정됩니다.

• 위치(x/y 좌표): 영향을 받은 서브시스템, 혹은 비슷한 대응 패턴 패밀리 간의 관계를 표현
• 밝기: 심각도나 영향도를 나타냅니다. (예: 고객 영향 시간, 위험에 노출된 매출 규모 등)
• 색깔: 주된 장애 유형을 표현할 수 있습니다. (네트워크, 스토리지, 배포, 설정, 의존성 등)
• 후광(halo)나 링 크기: 감지까지 걸린 시간(TTD) 이나 복구까지 걸린 시간(TTR) 을 표현
• 쌍성(twinned/binary stars): 연관된 인시던트를 표시합니다. (예: 대형 장애와 그 후속 회귀(regression))

시간이 지나면 천장은 운영 히스토리의 정밀한 공간 지도가 됩니다. 누군가 바닥에 누워 천장을 올려보며, 눈으로 이야기를 읽을 수 있습니다.

• 가장자리 근처의 밝은 붉은 클러스터? 새 서비스 주변에서 반복된 고심각도 배포 실패들일 수 있습니다.
• 방 한쪽을 가로지르는 옅은 푸른 호(arc)? 빈번하지만 영향도는 낮은, 레거시 컴포넌트에서의 설정 실수들일 수 있습니다.

각 점 하나마다 이야기가 있습니다. 그리고 이 매체 자체가 인시던트는 과거의 고통이 아니라 공부해야 할 대상이라는 점을 상기시켜 줍니다.

조용한 경고: 별 속에 교훈을 심어 두기

별로만 찍어두면, 그저 예쁜 벽화일 뿐 러닝 툴은 아닙니다. 진짜 마법은 각 별을 조용한 경고로 만드는 데 있습니다.

각 별은(물리적으로든, 아니면 연동된 디지털 인덱스를 통해서든) 다음과 같이 주석을 달 수 있습니다.

• 짧은 내러티브:
  “2022 블랙 프라이데이: 체크아웃이 18분간 멈췄다. 임시 큐잉과 수동 트래픽 스로틀링으로 안정화.”
• 핵심 대응 전술:
  예: “6분 내 롤백, 기능 플래그 킬 스위치, 수동 페일오버 실행.”
• 얻은 교훈:
  “자동 롤백 조건 추가, 설정에 대한 사전 검증(pre‑flight test) 도입, 페일오버 런북 보강.”
• 연습 프롬프트: 짧은 질문 하나:
  “지금 이 장애가 다시 시작된다면, 가장 먼저 어디를 볼 것인가?”

주간 리뷰나 온보딩 세션에서 누군가 한 별을 가리키며 말합니다.
“오늘은 이 별의 이야기를 해보자.”
천장은 운영 지식을 쌓아두는 메모리 팰리스(memory palace) 가 됩니다.

시간이 지날수록 패턴이 눈에 들어옵니다.

• ‘수동 영웅 플레이(manual heroics)’로 해결된 별들이 한 구석에 모여 있습니다. — 아직 자동화가 부족한 곳을 상기시켜 줍니다.
• ‘관측 가능성 갭(observability gap)’을 드러낸 별들이 다른 쪽에 모여 있습니다. — 모니터링이 약한 지점을 가리킵니다.

목표는 과거의 실수를 부끄럽게 만드는 게 아니라, 학습을 당연하게 만드는 것입니다.

여기 있는 누구나 무언가를 망가뜨린다. 그리고 여기 있는 누구나 거기서 배운다. 이것이 우리의 이야기다.

시스템 상호의존성 보여주기: 연쇄 장애의 하늘

현대 시스템은 혼자 고장 나지 않습니다. 네트워크처럼 엮여서 망가집니다. 한 서브시스템의 장애가 다른 곳으로 번지고, 타임아웃이 쌓이고, 재시도가 몰려오고, 큐가 넘치고, 캐시가 뒤엉킵니다.

플래니터리움의 돔은 이런 상호의존성을 눈에 보이게 만드는 데 완벽한 캔버스입니다.

• 별 사이를 잇는 선은 의존성을 나타냅니다. 예: 결제 영역의 별 하나가 데이터베이스 은하의 별과 연결됩니다.
• 인시던트 궤도(orbit) 는 한 장애가 어떻게 다른 장애를 ‘끌어들였는지’를 보여줍니다.
• 연쇄 장애의 별자리는 반복되는 체인 리액션을 시각화합니다.
  예: “인증(auth) → API 게이트웨이 → 모바일 클라이언트”

이렇게 하면 팀이 시스템적 리스크에 대한 공간 감각(spatial intuition) 을 갖게 됩니다.

• 대부분의 고심각도 별들이 인증(auth)이나 스토리지 별자리에 연결되어 있다는 사실을 발견합니다.
• 겉으로는 사소해 보이는 서비스 하나가 수많은 선이 교차하는 지점에 서 있다는 걸 깨닫습니다. — 조용하지만 치명적인 핵심입니다.

천장 아래에서 이렇게 물어볼 수 있습니다.

• “이 서비스가 갑자기 사라지면, 파장이 어디까지 번질까?”
• “왜 연쇄 장애에는 항상 이 큐 시스템이 끼어 있지?”

새벽 3시 인시던트 때만 배우던 관계를, 한낮의 조용한 방에서 미리 익히는 셈입니다.

러닝 디자인: 복잡성을 어린아이도 이해할 수 있게

인시던트 대응을 가르치는 방식은 종종 빽빽한 문서와 전문 용어에 기대곤 합니다. 플래니터리움은 교육 디자인(learning design) 에서 영감을 빌립니다. 어린이 과학관, 별자리 쇼, 교실 벽보처럼 복잡한 내용을 잘게 나누고 보기 쉽게 만듭니다.

명확한 표현 방식

• 디테일의 층위:
  • 멀리서 보면, 그냥 패턴만 보입니다. 밝은 영역, 빽빽한 클러스터, 외따로 떨어진 아웃라이어.
  • 가까이 다가가거나, 동반 앱을 켜면 인시던트 번호, 지속 시간, 타임라인이 드러납니다.
• 일관된 시각 규칙: 같은 색은 항상 같은 장애 유형, 같은 밝기 스케일은 항상 같은 심각도를 의미합니다.

어린아이도 이해할 수 있는 설명

복잡한 개념 하나하나에 대해, 비엔지니어(혹은 아이)도 이해할 수 있는 버전을 제공합니다.

• “서킷 브레이커 설정 오류로 가용성이 저하(regression)되었다” 대신:
  • “안전 장치 스위치가 제 역할을 못 해서, 너무 많은 요청이 고장 난 부분으로 몰렸고, 결국 전부 막혀버렸다.”
• “공유 노드 풀에서 서서히 진행된 CPU 포화(slow burn CPU saturation)” 대신:
  • “수많은 작은 일이 같은 머신들에 몰려서, 숨 쉴 공간조차 없어질 때까지 점점 꽉 차 버렸다.”

이건 수준을 낮추는 게 아니라, 이해의 문을 여는 일입니다.
프로덕트 매니저, 고객 지원팀, 리더십, 신규 입사자까지 모두 같은 천장 아래 서서, 질문을 던질 만큼은 이해할 수 있게 됩니다.

별자리, 클러스터, 은하: 실패 패턴의 우주

천문학 메타포는 단순한 장식이 아니라 구조 그 자체입니다.

• 별자리(Constellations): 모두가 알았으면 하는, 사람이 정의한 패턴
  • “배포 드래곤(Deployment Dragons)”: 배포 때문에 생기거나 배포로 해결된 인시던트
  • “지연의 뱀(Latency Serpents)”: 응답 시간이 몇 주에 걸쳐 조용히 올라간 이슈들
• 클러스터(Clusters): 데이터에서 자연스럽게 드러나는 밀집 영역
  • 특정 메시지 큐 하나를 항상 포함하는 별 무리
  • 주간 배포 후 2시간 안에 반복되는 인시던트 뭉치
• 은하(Galaxies): 상위 수준 인시던트 패밀리
  • 외부 의존성 은하: DNS, 서드파티 API, 결제 게이트웨이
  • 내부 설정 오류 은하: 설정 플래그, IAM 정책, 타임아웃 값 등

새 팀원을 소개할 때, 실제로 손가락으로 가리키며 말할 수 있습니다.

• “저게 우리가 완전히 통제할 수 없는 것들의 은하야. 그래서 여기에 완화 전략을 많이 투자하고 있어.”
• “이 별자리? 전부 같은 플레이북으로 해결됐어. 이건 빨리 익혀 두는 게 좋아.”

패턴은 더 이상 추상적인 개념이 아닙니다. 사람들이 **가리키고, 찾아가고, 기억할 수 있는 ‘장소’**가 됩니다.

분석 도구이자, 성찰의 공간

아날로그 인시던트 스토리 플래니터리움은 동시에 두 가지 역할을 합니다.

1. 분석 장비(Analytical Instrument)

   • 실제 메트릭과 데이터를 인코딩합니다.
   • 클러스터, 반복되는 체인, 핫스팟을 한눈에 보여줍니다.
   • 감지, 확산 차단(containment), 복구의 강·약점을 드러냅니다.

2. 성찰의 방(Reflective Room)

   • 사람들이 바닥에 누워 그냥 천장을 바라볼 수 있는 조용한 공간입니다.
   • 포스트 인시던트 리뷰와 분기별 회고의 의식적인 장소입니다.
   • *“우리는 과거 인시던트를 존중하고, 거기서 배운다”*는 문화를 상징하는 아티팩트입니다.

팀은 이 공간을 이렇게 활용할 수 있습니다.

• 가이드 투어: 한 달에 한 번, 몇 개의 별과 별자리를 골라 함께 둘러봅니다.
• 시뮬레이션 세션: 별 하나를 가리키고 “오늘 다시 터진다면 무엇을 할지”를 리허설합니다.
• 온보딩: 신규 입사자에게 30분짜리 ‘밤하늘 투어’를 제공해, 조직의 운영 히스토리를 소개합니다.

천장은 거울이자 나침반이 됩니다.
지나온 길을 비춰 보게 하고, 다음에 무엇을 연습해야 할지 가리켜 줍니다.

나만의 인시던트 플래니터리움 만들기

굳이 맞춤 제작한 돔 천장이 없어도 시작할 수 있습니다. 단계적으로 비슷한 접근을 구현해 볼 수 있습니다.

1. 인시던트 수집 및 재인덱싱: 감지–확산 차단–해결의 반응 중심 분류 체계로 다시 태깅합니다.
2. 시각 인코딩 규칙 정의: 심각도, 유형, 지속 시간을 어떻게 표현할지 정하고, 일관되게 유지합니다.
3. 별 지도 스케치: 종이나 화이트보드 위에 먼저 별, 클러스터, 별자리, 은하를 구성해 봅니다.
4. 천장으로 옮기기:
   • 간단 버전: 형광(야광) 스티커나 인쇄한 별 지도를 천장에 붙입니다.
   • 고급 버전: 인시던트 데이터셋과 연동된 프로젝터를 사용합니다.
5. 스토리 추가: 각 별에 짧고 읽기 쉬운 내러티브와 연습 프롬프트를 붙입니다.
6. 자주 사용하기: 회고, 교육, 크로스팀 리뷰, 리더십 브리핑 등에서 반복적으로 활용합니다.

가치는 완벽함에서 나오지 않습니다. 반복에서 나옵니다.
계속 돌아와서, 올려다보고, 과거가 조용히 우리의 다음 대응을 빚어 가도록 두는 데서요.

결론: 당신만의 밤하늘을 읽는 법

어느 조직에나 이미 밤하늘이 있습니다. 수백 번의 인시던트, 무언가가 망가졌고, 사람들이 우왕좌왕했고, 결국 배우고 개선했던 순간들 말입니다. 다만 그 하늘은 도구와 기억 속에 흩어져 있을 뿐, 눈에 보이지 않을 뿐입니다.

아날로그 인시던트 스토리 플래니터리움은 그 흩어진 하늘을 한 곳에 모아, 상처가 아니라 별로 바라보게 하는 방법입니다.

그 조용한 경고로 가득한 천장 아래에서, 팀은 이렇게 할 수 있습니다.

• 언제나 있었지만 잘 보지 못했던 패턴을 발견하고,
• 다음 실제 장애가 오기 전에 더 나은 대응을 연습하고,
• 인시던트에서 배우는 일이, 인시던트를 겪는 것만큼이나 당연한 문화로 자리잡게 합니다.

인시던트는 앞으로도 계속 일어날 겁니다.
차이는 여기에 있습니다. 그 사건들이 로그 속으로 사라질지, 아니면 함께 읽을 수 있는 밤하늘을 밝히는 별이 될지에 말입니다.