소개: 장애가 ‘생명체’가 될 때

대부분의 팀은 장애를 점프 스케어처럼 다룹니다. 경보가 번쩍 뜨고, 모두가 우왕좌왕하다가, 시스템이 복구되면 가능한 한 빨리 잊어버리려 하죠. 사후 분석(Postmortem) 슬라이드는 공유 드라이브에 묻혀 디지털 먼지를 뒤집어쓰고, 다음 장애는 지난번만큼이나 혼란스럽게 느껴집니다.

그런데 장애가 애초에 점프 스케어가 아니라면 어떨까요? 만약 그것들이 유리 너머에서 천천히 관찰할 수 있는 기이한 생명체라면?

모니터 한편 구석에 놓인 유리 벽 책상 수조를 떠올려 보세요. 그 안에서 과거의 장애들이 슬로모션으로 떠다닙니다. 각각은 독특한 행동을 하고, 이상한 라이프사이클을 가지며, 특정 환경 요인에 의해 촉발되는 개별 유기체입니다. 유리벽을 톡톡 두드려 보고, 메모를 남기고, 움직임을 관찰할 수 있습니다. 더 이상 당신을 기습할 수 없습니다. 이제 그들은 이곳에, 보존되어 관찰 가능한 상태로 살아 있습니다.

여기에 오신 것을 환영합니다. 아날로그 장애 스토리 수족관(Analog Incident Story Aquarium) 입니다. 이 은유적인, 항상 켜져 있는 전시 공간에서 장애는 표본이 되고, 대응자는 숙련된 자연 관찰자가 되며, 조직은 물리지 않고도 모두가 보는 앞에서 학습합니다.

수족관: 당신과 카오스 사이의 유리 벽

핵심 아이디어는 단순합니다. 장애는 잊기엔 너무 중요하고, 일회성 예외로 취급하기엔 너무 비용이 크다는 것입니다. 수족관은 팀이 공유하는 하나의 멘탈 모델입니다.

• 안전한 경계: 프로덕션에서의 장애는 위험하지만, 수족관 안에서는 느리게, 안전하게 가둬져 있습니다.
• 영구 전시물: RCA(근본 원인 분석) 이후에 아무것도 사라지지 않습니다. 모두 컬렉션에 편입됩니다.
• 학습 인터페이스: 우리는 유리 너머를 들여다보며 이 생명체가 어떻게 행동하는지 이해합니다.

일반적인 포스트모템 문서는 경찰 보고서처럼 읽히지만, 수족관 속 표본은 필드 가이드(field guide)의 한 페이지에 더 가깝습니다.

• 이 장애는 처음 나타날 때 어떤 모습으로 등장했는가?
• 시스템 안에서 어떻게 움직였는가? 급격한 스파이크인가, 느린 누수인가?
• 어떤 조건에서 수면 위로 떠올랐는가?
• 최종적으로 어떻게 진정되거나 사라졌는가?

이런 식의 재구성이 중요한 이유가 있습니다. 엔지니어가 장애를 무작위 공포가 아니라 되풀이되는 생태 패턴으로 볼 수 있을 때, 초기 징후를 더 잘 포착하고 이미 학습한 대응을 훨씬 잘 적용할 수 있습니다.

아날로그 호러 미학: 장애를 기억에 남게 만들기

장애는 흔히 이렇게 건조하게 서술됩니다. 500 에러 증가, DB CPU 과부하, 롤백 적용. 유용하지만, 잘 기억되지는 않죠.

아날로그 호러—예를 들면 "Salem Watertower Incident" 스타일의 VHS 테이프, 노이즈 낀 화면, 기묘한 타임스탬프—는 맥락과 질감이 얼마나 오싹한 느낌을 줄 수 있는지 보여줍니다. 이 미학을 빌려와 장애를 기이하지만 잊기 어려운 것으로 만들 수 있습니다. 그렇다고 피해를 가볍게 여기자는 뜻은 아닙니다.

주요 장애마다 수족관 안에 아날로그 호러 카드를 만들어 보세요.

• 제목: “2024‑03‑14 메시지 버스 지연” 대신 “고요한 큐의 밤(The Night of the Silent Queue)”
• 스틸 컷: 그래프 스크린샷에 글리치 같은 주석을 달고, 모서리에 타임스탬프를 새겨 넣기
• 태그라인: 장애의 분위기를 딱 한 줄로 잡아내는 오싹한 문장
  예: “모든 지표는 정상이라 말했지만, 아무것도 움직이지 않았다.”

목적은 고통을 드라마처럼 포장하는 것이 아니라, 기억을 고정시키는 것입니다. 사람들은 티켓 번호보다 스토리, 미학, 분위기를 훨씬 잘 기억합니다. 특정한 생명체처럼 느껴지는 장애는, 다시 우리 쪽으로 헤엄쳐 올 때 훨씬 더 빨리 알아볼 수 있습니다.

수조 속 표본: 생명체로서의 장애

아날로그 장애 수족관에서는 의미 있는 장애 하나하나가 표준화된 프로필을 가진 표본(specimen) 이 됩니다.

1. 분류학: 이건 어떤 종류의 생명체인가?

필드 가이드를 만든다고 생각하고 장애를 분류합니다.

• 속(Genus): Latency(지연), Availability(가용성), Data Integrity(데이터 무결성), Performance(성능), Security(보안)
• 종(Species) 예시:
  • Burrower(굴 파는 자): 조용한 데이터 손상, 숨어 있는 무결성 문제
  • Surface Breacher(수면 돌파자): 한 번에 확 드러나는 퍼블릭 장애
  • Reef Choker(암초 목 조르기): 리소스 고갈/소진 계열 문제
  • Shadow Swimmer(그림자 헤엄꾼): 간헐적이고 재현이 어려운 장애

목표는 과학적 엄밀함이 아니라 공유된 언어입니다. “우리가 이 Reef Choker 류를 예전에 겪었어”라고 말하는 것만으로도, 리소스 관련 대형 장애 한 부류 전체를 가리키는 셈입니다.

2. 행동: 어떻게 움직이는가?

각 표본 항목에는 다음 질문에 대한 답이 담깁니다.

• 발현 패턴: 갑작스러운 스파이크인가, 계단식 상승인가, 느린 표류인가?
• 전파 양상: 어떤 서비스들이 어떤 순서로 영향을 받았는가?
• 신호(Signals): 로그, 메트릭, 트레이스, 사람들의 제보는 각각 무엇을 보여줬는가?
• 탈출 시도(Escape attempts): 상황이 나아지기 전에 무엇이 오히려 더 악화시켰는가?

시간이 압축된 자연 다큐멘터리를 떠올려 보세요. 프레임 하나하나를 이어 붙여 이 생명체의 행동을 재구성하는 것입니다.

3. 서식지와 트리거 조건

모든 장애는 특정 서식지(habitat) 안에서 살아갑니다.

• 어느 환경인가? (프로덕션, 스테이징, 특정 리전 등)
• 어떤 의존성에 기대고 있는가? (DB, 메시지 큐, 외부 API 등)
• 어떤 비즈니스 이벤트와 맞물렸는가? (블랙 프라이데이, 제품 런칭, 정기 결제 배치 등)

이렇게 정리해 두면 이런 질문을 던지기 쉬워집니다.
우리는 지금 이 생명체가 다시 나타나기 좋은 조건을 재현하고 있는가?
그렇다면, 수조 속 표본이 역사를 반복하기 전에 경고를 보내줄 수 있습니다.

사건 대응을 정식 "전문 분야"로: 영웅 디버깅을 넘어서

새로운 생명체가 프로덕션으로 탈출했을 때, 아무도 무엇을 해야 할지 모른다면 수족관은 아무 소용이 없습니다. 그래서 장애 대응을 정식 전문 분야(formal discipline) 로 취급하는 것이 중요합니다.

현실 세계의 비상 대응은 구조화되어 있습니다. 소방관, 응급 의료요원, 경찰은 모두 각자 소리만 지르지 않습니다. 그들은 국가 비상 관리 시스템(NIMS) 이나 Incident Command System(ICS, 사건 지휘 시스템) 같은 프레임워크에 따라 움직입니다.

• 명확한 역할과 책임
• 정의된 지휘 체계
• 표준화된 커뮤니케이션 패턴

이 구조를 디지털 세계에 빌려오는 것입니다.

수족관을 위한 ICS 기반 역할 매핑

팀의 장애 대응 플레이북에서 ICS 개념을 소프트웨어 환경에 맞게 매핑해 봅시다.

• Incident Commander (IC): 전체 대응의 총괄. 큰 그림을 유지하고, 의사결정을 내리며, 에스컬레이션을 관리합니다.
• Operations Lead: 실질적인 완화 작업(롤백, 피처 플래그, 스케일링, 페일오버 등)을 조율합니다.
• Planning Lead: 가설, 타임라인, 의사결정을 추적하고, 실시간 로그를 남기며 다음 단계를 계획합니다.
• Communications Lead: 내부 채널, 상태 페이지, 이해관계자에게 업데이트를 전달합니다.
• Liaison / Customer Lead: 고객 영향의 대변인 역할을 하며, 고객의 고통을 가장 빨리 줄이는 완화 조치를 우선순위에 둡니다.

수족관 은유로 보자면, 이들은 사육사(aquarist) 와 관리자(keeper) 입니다. 생명체가 유리를 깨고 튀어나왔을 때, 모두가 자신의 역할을 알고 있어야 합니다. 이후 수족관 표본에는 생명체가 무엇을 했는지뿐만 아니라, 대응 크루가 어떻게 움직였는지까지 함께 기록됩니다.

아날로그 vs 디지털 노출계: "뭔가 이상하다"는 감각 포착하기

예전 사진가들은 아날로그 노출계를 사용했습니다. 바늘이 부드럽게 움직이며 적정 노출을 가리키죠. 시간이 지나면 이런 감각이 생깁니다. 이 장면은 1/125초, 조리개 f/8쯤 되겠는데.
오늘날 카메라는 빠르고 정확한 디지털 측광을 사용하지만, 숙련된 사진가는 여전히 "이 사진은 뭔가 이상하게 나올 것 같다"는 감을 느낍니다.

장애도 똑같습니다.

• 아날로그 감지(Analog sensing): 시니어 엔지니어가 뭔가 이상하다고 느낍니다. 지연 그래프의 모양이 “이상하게” 보이고, 배포가 영 불길하게 느껴지고, 비즈니스 현장의 소문이 대시보드와 맞지 않습니다. 이건 직관, 패턴 매칭, 경험의 영역입니다.
• 디지털 감지(Digital sensing): 메트릭, SLO, 트레이스, 로그는 정량적이고 정밀한 신호를 제공합니다. 설정한 임계값을 넘으면 알람이 뜹니다.

건강한 조직이라면 둘 다 필요합니다.

1. 엔지니어가 아날로그한 불안감을 자유롭게 말하게 하세요.

   • “이 트래픽 모양, 지난번 큐 백업 났을 때랑 비슷한데요.”
   • “대시보드는 조용한데, 지원 채널이 평소보다 시끄럽네요. 뭔가 숨어 있는 것 같아요.”

2. 수족관을 통해 아날로그와 디지털을 정렬합니다.

   • 각 표본 항목에 둘 다 기록합니다.
     • 사람들이 주관적으로 무엇을 느끼고 눈치챘는지
     • 메트릭이 객관적으로 무엇을 말해주었는지

시간이 지나면, 팀은 자신의 내면 "노출계"를 텔레메트리에 맞춰 보정하게 됩니다. 장애는 완전한 불시에 들이닥치는 사건이라기보다, 수조 한켠에서 어렴풋이 움직이기 시작하는 존재가 됩니다.

나만의 장애 수족관 설계하기

굳이 실제 유리 수조를 책상 위에 올려둘 필요는 없습니다(물론 그러면 꽤 재미있긴 할 겁니다). 필요한 건 공유되고, 눈에 잘 띄며, 스토리가 살아 있는 공간입니다. 그 안에 장애들이 살게 하세요.

1. 수조 고르기

예시 옵션:

• 내부 문서/위키의 전용 섹션
• Notion 보드, Miro 보드, 디지털 화이트보드
• 사내에서만 접근 가능한 정적 마이크로사이트: /incident-aquarium

핵심은 이것입니다. 그냥 PDF가 쌓인 폴더가 아니라, ‘전시 공간’처럼 느껴져야 한다는 것.

2. 표본 템플릿 정의하기

의미 있는 장애마다 다음 정보를 담은 엔트리를 만듭니다.

• 이름 & 태그라인
• 날짜 & 지속 시간
• 유형/분류(Taxonomy) (예: Shadow Swimmer – 간헐적 지연)
• 증상 & 행동 (슬로모션으로 풀어 쓴 단계별 내러티브)
• 서식지 & 트리거 조건
• 대응 역할 & 타임라인 (누가 언제 무엇을 했는지)
• 아날로그 신호 (처음에 무엇이 이상하게 느껴졌는지, 사람이 가장 먼저 눈치 챈 것)
• 디지털 신호 (핵심 메트릭, 대시보드, 로그, 트레이스)
• 단기 완화 조치 & 장기 변경 사항
• 배운 점 (3–5개의 간결한 핵심 요약)

가능하면 시각적으로도 눈에 띄게 만드세요. 스크린샷, 차트, 주석 달린 타임라인, 조직 문화가 허락한다면 VHS 스타일 오버레이까지 활용해도 좋습니다.

3. "관람"을 의식화하기

수족관은 보라고 존재합니다. 이런 리추얼을 만들어 보세요.

• 월간 “수조 투어(Tank Tour)”: 30분 정도 시간을 내어 표본 한두 개를 다시 들여다봅니다. “이제는 이 장애를 더 일찍 감지할 수 있을까?” 를 함께 질문합니다.
• 온보딩 투어: 새로 합류한 엔지니어가 “레전드급 장애” 몇 개를 가이드 받으며 둘러보게 합니다.
• 출시 전 리뷰: 큰 릴리즈 전에 묻습니다. “이 기능은 수조 속 어떤 생명체를 끌어들일 수 있을까?”

이렇게 하면, 생명체는 기억 속에서 계속 살아 있지만, 여전히 유리 너머에 머물게 됩니다.

지속 학습: 점프 스케어에서 자연 다큐멘터리로

아날로그 장애 수족관의 진정한 가치는 미학 자체에 있는 것이 아닙니다. 조직의 자세가 바뀐다는 점에 있습니다.

• 장애는 더 이상 고립된 충격 사건이 아니라, 살아 있는 리스크 생태계의 일부가 됩니다.
• 장애 대응은 개인의 영웅적인 디버깅이 아니라, ICS에서 영감을 받은 조율된 실천으로 바뀝니다.
• 엔지니어는 자신의 아날로그 직감을 디지털 텔레메트리와 맞춰가며, 조기 감지 능력을 키웁니다.
• 조직은 실패를 둘러싼 공유 언어와 집단 기억을 쌓게 됩니다.

장애를 피해서 도망치려 애쓰는 대신, 그 주변에 투명한 수조를 세우는 것입니다. 관찰하고, 분류하고, 학습합니다. 생명체가 사라지지는 않습니다. 하지만 덜 신비롭고, 덜 무섭고, 훨씬 더 많은 것을 가르쳐 주는 존재가 됩니다.

당신의 책상 위에 유리 벽을 세우세요. 실제 수조가 아니라도 좋습니다. 머릿속과 위키 안에 세우면 됩니다. 장애에 이름을 붙이고, 얼굴을 주고, 모두가 볼 수 있도록 슬로모션으로 헤엄치게 하세요.

그러면 다음번에 프로덕션의 물결이 살짝 일렁이기 시작할 때, 수조 속에서 이미 본 그 생명체의 실루엣을 알아볼 수 있을 것입니다. 그리고 유리가 깨지기 전에, 무엇을 해야 하는지 알고 움직일 수 있게 됩니다.