아날로그 인시던트 플라이트 데크 체크리스트: AI 장애가 걷잡을 수 없이 커지지 않게 막는 한 장짜리 의식

AI가 들어간 시스템이 문제를 일으킬 때, 화면에 딱 떨어지는 빨간 알람이 뜨는 경우는 거의 없습니다. 보통은 슬로모션 연쇄 추돌에 가깝습니다. 이상한 출력, 헷갈리는 사용자들, 불타는 Slack 채널, 서로 다른 세 팀이 각자 따로 상충되는 변경을 동시에 넣고 있는 상황 말입니다.

이런 순간에 가장 하면 안 되는 게, 그때그때 즉석에서 대응 프로세스를 만들어 내는 일입니다.

여기서 도움이 되는 것이 바로 아날로그 인시던트 플라이트 데크 체크리스트입니다. 단순하고 표준화된 종이 기반의 의식으로, AI로 인한 장애가 혼란 속에서 걷잡을 수 없이 커지는 것을 막아 줍니다.

이건 클립보드를 향한 향수가 아닙니다. 의도적으로 설계한 회복 탄력성 레이어입니다. AI, 모니터링, 협업 도구가 제대로 작동하지 않을 때에도 작동하도록 만든, 저기술이지만 고신뢰의 아티팩트입니다.

왜 AI 시대에 굳이 종이 체크리스트인가?

ERP에 붙은 LLM 코파일럿, 자동화된 리스크 스코어링, AI 기반 라우팅처럼 AI가 통합된 시스템은 다음과 같은 특징을 가집니다.

새로운 실패 양상 (환각, 피드백 루프, 유해/독성 출력)
비결정론적 동작 (재현과 디버깅이 어려움)
데이터 파이프라인과 서드파티 모델에 대한 강한 결합

AI 인시던트가 발생하면, 평소에 의존하던 도구들이 오히려 믿을 수 없게 될 수 있습니다.

모니터링 대시보드는 느리거나 잘못 설정되어 있을 수 있고
챗봇·코파일럿 자체가 문제의 일부일 수 있으며
사람들은 스트레스 속에서 절차를 건너뛰기 쉽습니다.

종이 플라이트 데크 체크리스트는 이런 취약성과 정반대에 있습니다.

언제나 사용 가능합니다 – 인증, SSO, 네트워크가 필요 없습니다.
명료하고 유한합니다 – 모두가 한눈에 볼 수 있는 한두 페이지로 끝납니다.
미리 결정된 사고입니다 – 위기가 오기 전에 냉정한 집단 지성을 담아 둔 결과물입니다.

AI 인시던트 상황에서 사용할 수 있는 “수동 제어 패널”이라고 생각하면 됩니다.

인시던트 플라이트 데크 체크리스트란 무엇인가?

항공에서 가져온 개념으로, 플라이트 데크 체크리스트는 승무원이 정상 운항과 비상 상황 모두에서 따라야 하는 표준화된 행동 순서를 말합니다.

이를 AI 운영에 적용하면, 인시던트 플라이트 데크 체크리스트는 다음과 같은 1~2페이지짜리 인쇄 가이드입니다.

역할·의사결정 권한·커뮤니케이션 채널을 정의하고
인시던트 라이프사이클 전 구간의 단계별 행동을 정리하며
AI 특화 고려사항(모델, 데이터, 프롬프트, 서드파티 의존성)을 포함하고
NOC, 워룸, 온콜 바인더 등 핵심 위치에 실물로 비치됩니다.

목표는 모든 인시던트를 예측하는 것이 아닙니다. 어떤 상황에서든 대응을:

조율 가능하게
침착하게
반복 가능하게

유지하는 것입니다. 심지어 가장 똑똑한 도구들이 오작동하거나 사용할 수 없을 때에도 말입니다.

1. 역할, 권한, 커뮤니케이션을 종이 위에 명시하라

AI 인시던트가 엉망이 되는 공통 원인은, 누가 책임자이고 누가 무엇을 할 수 있는지 아무도 확신하지 못할 때입니다.

플라이트 데크 체크리스트에는 다음이 명시적으로 적혀 있어야 합니다.

핵심 역할

인시던트 커맨더(IC) – 전체 대응과 최종 의사결정을 책임
커뮤니케이션 리드(Comms Lead) – 모든 이해관계자 커뮤니케이션 담당
옵스 리드(Ops Lead) – 기술적 격리·복구 작업 실행
데이터 리드(Data Lead) – 데이터 무결성 평가 및 데이터 관련 조치 책임
AI/모델 리드(AI/Model Lead) – 모델 동작, 프롬프트, 통합부를 집중적으로 담당

의사결정 권한 (문서에 분명히 적어 둘 것)

누가 어떤 기준에서 AI 인시던트를 공식 선언할 수 있는가
누가 모델 버전·프롬프트·설정(컨피그)을 롤백할 수 있는가
누가 프로덕션의 AI 기능을 중단·축소할 수 있는가
누가 외부(고객, 규제기관, 파트너)와 소통할 수 있는가

커뮤니케이션 채널

주 인시던트 채널 (예: 특정 Slack/Teams 채널 이름)
채팅이 불가능할 때의 백업 채널 (전화 브리지, SMS 트리, 물리적 워룸 등)
의사결정 로그 위치 (인시던트 문서 템플릿 위치 – 오프라인 기준까지 포함)

종이 체크리스트에는 단순히 다음처럼 채워 넣을 수 있는 칸을 두면 됩니다.

IC:
Comms Lead:
Ops Lead:
Data Lead:
AI/Model Lead:

이름을 실제로 적어 넣는 행위 자체가 팀을 정렬시키고 혼란을 줄여 줍니다.

2. AI 인시던트의 전체 라이프사이클을 다뤄라

체크리스트는 팀이 다음의 전 구간을 순서대로 밟도록 안내해야 합니다.

준비(Preparation) – 인시던트 이전
감지 & 분류(Detection & Triage)
격리(Containment)
복구 & 검증(Recovery & Validation)
사후 분석(Post-Incident Analysis)

준비 단계 (사전에 인쇄·연습)

각 온콜 교대나 모의훈련 시작 시 사용하는 짧은 프리플라이트 섹션을 포함합니다.

연락처 리스트가 최신인지 확인
런북(runbook) 위치 확인 (로컬 사본, 출력본 포함)
범위 내 AI 컴포넌트(모델, 제공업체, 핵심 워크플로)를 훑어보기
중요한 기능별 디그레이드(degrade, 성능·기능 축소) 옵션을 확인

감지 & 분류 (Detection & Triage)

뭔가 이상하다는 느낌이 들 때, “이게 AI 인시던트인가?”를 판별할 수 있는 구조화된 경로가 필요합니다.

체크리스트 항목 예시는 다음과 같습니다.

이상 징후에 직접 관여한 컴포넌트가 AI인지 확인한다.
심각도 분류 (사용자 영향, 재무 리스크, 안전/컴플라이언스 우려)
빠른 지표 확인: 에러율, 비정상 응답, 상향 보고(에스컬레이션) 상황 등
심각도가 기준 X 이상이면 AI 인시던트 선언 및 역할 즉시 지정

이 과정을 통해 “이게 진짜 인시던트인가?”라는 우왕좌왕 시간을 줄일 수 있습니다.

격리 (Containment)

격리는 더 큰 피해를 막되, 상황을 악화시키지 않는 것이 핵심입니다.

AI 인시던트에서는 다음 같은 의사결정을 유도하는 체크리스트가 필요합니다.

핵심 워크플로는 유지하되 AI 기능만 일시적으로 비활성화할 수 있는가?
불가능하다면, **우아한 디그레이드(Graceful Degradation)**가 가능한가? (아래 ERP 예시 참고)
변경 동결: IC 승인 없이 새 모델 배포, 프롬프트 수정, 데이터 파이프라인 변경을 금지한다.
상황 기록: 타임스탬프, 모델 버전, 설정 스냅샷 등을 확보한다.

복구 & 검증 (Recovery & Validation)

정상 운영을 복원할 때, AI 시스템에는 추가 절차가 필요합니다.

필요 시 **마지막으로 정상 동작이 확인된 모델/설정(last known good)**으로 롤백
미리 정의된 골든 테스트 케이스로 검증 (정답이 확실한 시나리오)
관련 데이터 파이프라인 점검 (신선도, 스키마, 이상 여부)
비즈니스 오너와 함께 핵심 플로우가 기대대로 동작하는지 확인

사후 분석 (Post-Incident Analysis)

체크리스트의 마지막은 짧지만 반드시 수행해야 하는 사후 절차로 끝나야 합니다.

24~72시간 이내에 블레임리스(blameless) 포스트모템 진행
타임라인, 의사결정, 기여 요인을 문서화
프롬프트, 모델 동작, 드리프트 등 AI·데이터 관련 인사이트 정리
분석 결과를 바탕으로 **체크리스트, 런북, 가드레일(안전장치)**를 업데이트

3. AI 통합 시스템은 ‘대참사’가 아니라 ‘우아하게 성능 저하’되도록 설계하라

AI는 점점 더 미션 크리티컬한 앱에 깊숙이 들어가고 있습니다.

공급업체를 랭킹하는 ERP 코파일럿
고객 문의 티켓 라우팅을 돕는 LLM
가격·여신 조건을 제안하는 AI 어시스턴트

이런 컴포넌트가 장애를 일으킨다고 해서, 전체 비즈니스 프로세스가 멈춰서는 안 됩니다.

플라이트 데크 체크리스트에는 핵심 AI 기능별로 사전에 정의된 안전한 디그레이드 모드가 포함되어야 합니다.

예시: 구매 리스크 스코어링을 위한 ERP 코파일럿

“AI가 죽으면 구매업무도 올스톱”이 아니라, 체크리스트가 다음처럼 안내하도록 합니다.

AI 리스크 스코어링이 불가 또는 신뢰할 수 없을 때:
- 가능한 경우, 이전의 검증된 리스크 스코어를 기본값으로 사용한다.
- 아니면 단순 룰 기반 기준(예: 국가, 주문 규모 등)을 임시로 적용한다.
- 고가·고위험 주문은 수동 검토 대상으로 플래그한다.
구매팀에 커뮤니케이션: “AI 코파일럿이 축소 모드로 전환되었습니다. 추후 공지 시까지 보수적인 폴백 로직을 사용합니다.”
디그레이드 모드에서 처리한 모든 주문을 추후 감사용으로 로그에 남긴다.

이렇게 하면 AI 장애가 **완전 정지(full stop)**가 아닌, **관리 가능한 속도 저하(managed slowdown)**로 바뀝니다.

이 옵션들은 인시던트 전에 문서화해서 종이에 적어 두어야 합니다. 그래야 위기 시점에 즉흥적으로 결정하지 않아도 됩니다.

4. 모든 인시던트에서 데이터를 별도로 다뤄라

AI 인시던트의 상당수는 실은 데이터 인시던트가 위장된 것입니다.

잘못된 학습 데이터로 인해 편향되거나 깨진 동작이 나타나거나
손상되거나 지연된 운영 데이터가 모델 출력을 왜곡하거나
잘못 설정된 피처 파이프라인이 멀쩡한 모델에 엉뚱한 입력을 넣는 상황 등입니다.

따라서 종이 체크리스트에는 데이터 리드가 책임지는 데이터 고려사항(Data Considerations) 섹션이 별도로 있어야 합니다.

어떤 데이터 소스·테이블·스트림이 관여했는지 식별한다.
최근에 **학습 데이터(training data)**가 갱신·추가된 적이 있는지 확인한다.
**운영 데이터(production data)**가 손상·유실·중복된 정황이 있는지 확인한다.
데이터 분포 변화가 모델 동작을 설명할 수 있는지 평가한다.
다음과 같은 방식으로 데이터 무결성을 검증한다.
- 독립된 데이터 소스와의 스팟 체크
- 스키마·제약조건 검사
- 로우 카운트 및 이상 탐지(가능한 툴이 있을 경우 활용)

또한 데이터 노출 및 프라이버시에 관한 질문도 분명히 포함해야 합니다.

인시던트에 민감 정보 또는 규제 대상 데이터가 포함되었는가?
로그, 프롬프트, 출력이 서드파티 모델 제공업체와 공유되었는가?
보안, 법무, 컴플라이언스 팀에 통지할 필요가 있는가?

이렇게 해야 데이터 문제를 단순한 “버그”로 치부하지 않게 됩니다.

5. 항공 승무원처럼 체크리스트를 연습하라

아무리 완벽한 체크리스트라도, 아무도 어떻게 쓰는지 모른다면 첫 실전에서 바로 실패합니다.

운영에 정기적인 시뮬레이션을 포함시키세요.

분기별 테이블탑(Tabletop) 연습: 가상의 AI 장애 시나리오를 종이 체크리스트만 가지고 끝까지 진행해 본다.
기습 드릴: “최상위 고객에게 AI 코파일럿이 엉뚱한 출력을 내보내기 시작했다 — 지금부터 대응 시작.”
역할 순환: 서로 다른 사람이 인시던트 커맨더, Comms Lead, Data Lead를 맡아 보게 한다.

각 연습 이후에는 다음을 진행합니다.

스스로에게 묻기: 체크리스트가 도움이 된 부분은 어디였는가? 결국 즉흥적으로 한 부분은 어디였는가?
실제 사용 경험을 바탕으로 문구, 순서, 표현을 다듬는다.
수정본을 다시 인쇄해 배포한다.

이 과정을 반복하면 체크리스트가 낯선 문서가 아니라, 몸이 기억하는 절차가 됩니다. 새벽 3시에 처음 보는 문서를 펼쳐 드는 일이 아니게 됩니다.

6. 아날로그 체크리스트를 하나의 회복 탄력성 레이어로 보라

아날로그 플라이트 데크는 다른 형태의 중복성(redundancy)과 같습니다.

백업 전력을 확보하는 것
오프라인 런북을 유지하는 것
핵심 설비에 수동 오버라이드를 남겨 두는 것과 비슷합니다.

모니터링 도구, AI 서비스, 협업 플랫폼이 일부 또는 전부 장애를 겪더라도, 여러분은 여전히 다음을 할 수 있습니다.

팀을 모으고
역할을 할당하고
명료하게 소통하고
격리·복구를 진행할 수 있습니다.

모두 한 장짜리 인쇄물만으로도 가능합니다.

이것은 ‘반(反) AI’가 아니라 **친(親) 신뢰성(Pro-Reliability)**입니다. AI는 체크리스트를 개선하고, 인시던트를 분석하고, 새로운 가드레일을 제안하는 데 큰 도움을 줄 수 있습니다. 하지만 AI 자체가 문제일 때, 아날로그는 마지막 안전망입니다.

내일부터 바로 시작하는 방법

완벽한 아티팩트가 필요하지 않습니다. 지금 당장 쓸 수 있는 것이면 충분합니다.

다음을 모두 담은 한 페이지짜리 체크리스트 초안을 만든다.
- 역할과 권한
- 라이프사이클 단계 (준비 → 감지 → 격리 → 복구 → 포스트모템)
- AI·데이터 특화 절차
인쇄한다. 인시던트를 실제로 운영하는 장소마다 비치한다.
가상의 AI 장애 시나리오로 한 번 테이블탑 연습을 진행한다.
배운 점을 정리하고, 체크리스트를 업데이트한다.

이 과정을 계속 반복해, 팀에 자연스럽게 스며들 때까지 다듬어 가면 됩니다.

맺음말

AI가 모든 핵심 비즈니스 워크플로에 스며들면서, AI 인시던트는 더 이상 예외적인 사건이 아니라 일상적인 운영 리스크가 되었습니다.

모든 장애나 모든 이상한 모델 동작을 막을 수는 없습니다. 하지만 그것들이 조직 전체의 위기로 번지는 것은 상당 부분 막을 수 있습니다.

단순한 아날로그 인시던트 플라이트 데크 체크리스트는 팀에 다음을 제공합니다.

스트레스 상황에서 함께 따를 공유된 스크립트
명확한 권한과 책임
데이터와 디그레이드 경로에 대한 내장된 주의
가장 똑똑한 도구들이 먹통이 되어도 작동하는 신뢰할 수 있는 프로세스

때때로, 여러분이 도입할 수 있는 가장 강력한 AI 신뢰성 도구는, 모두가 이미 사용할 줄 아는 한 장짜리 종이일 수 있습니다.