아날로그 실패 예측 카드 덱: 위험한 기능을 출시하기 전에 설계하는 물리적 리스크 카드

강력한 기능을 어떻게 실패할 수 있는지, 어떻게 악용될 수 있는지 충분히 고민하지 않은 채 출시하는 것은 제품, 사용자, 때로는 공공 안전까지 걸고 도박을 하는 것과 같다. 전통적인 리스크 리뷰와 위협 모델링은 도움이 되지만, 대개 추상적이고, 시간에 쫓겨 진행되며, 한 번 쓰고 나면 아무도 다시 열어보지 않는 디지털 문서 속에 갇혀 버린다.

아날로그 실패 예측 카드 덱(Analog Failure Forecast Deck) 은 다른 접근법을 제안한다. 프리모텀(premortem)에서 착안한 물리적 리스크 카드 덱으로, 팀이 실제로 손에 쥐고, 섞고, 놓고, 서로 논쟁하며, 제품과 위협 환경이 변할 때 함께 진화시킬 수 있는 도구다.

이 글에서는 이 카드 덱이 무엇인지, 어떻게 만들고 활용하는지, 그리고 현대적인 모델 기반 엔지니어링(Model-Based Systems Engineering, MBSE)과 시뮬레이션 워크플로에 어떻게 통합할 수 있는지 단계별로 살펴본다.

디지털 세상에 왜 아날로그 카드 덱인가?

디자인·엔지니어링 논의만 해도 이미 대시보드, 다이어그램, 티켓으로 가득하다. 그런데 여기에 또 종이 카드까지 더해야 할까?

이유는 물리적인 아티팩트가 대화를 바꾸기 때문이다.

사람들의 속도를 적당히 늦춰서 더 깊이 생각하게 만든다.
추상적인 위협을 눈앞의 구체적인 것으로 만들어, 무시하기 어렵게 만든다.
위계를 완화한다. 테이블에 앉은 누구나 카드를 집어 들고 가정과 전제를 도전할 수 있다.
툴과 플랫폼이 바뀌어도 살아남는다. 누군가 리스크 스프레드시트를 “까먹고” 안 열어도, 테이블 위 카드 덱은 모두의 눈에 보인다.

아날로그 실패 예측 카드 덱은 형식적인 리스크 분석을 대체하는 것이 아니다. 앞단에서 증폭시키는 장치다. 고위험 기능의 아키텍처를 확정하거나 출시하기 전에, 위험한 엣지 케이스와 오남용 패턴을 드러내게 해준다.

1단계: 포스트모텀이 아니라 프리모텀을 실행하라

대부분의 팀은 사고가 터진 뒤에야 포스트모텀(postmortem)을 한다. 그때쯤이면 피해는 이미 발생했고, 선택지는 비싸고 제한적이다.

프리모텀(premortem) 은 이 타임라인을 거꾸로 뒤집는다.

“출시 후 12개월이 지났다고 상상해보자. 이 기능은 크게 실패했다. 무슨 일이 있었던 걸까?”

프리모텀 세션을 운영하는 실무 팁:

시나리오를 정한다
하나의 구체적인 기능이나 서브시스템을 고른다. (예: “자동 승인 시스템”, “AI 기반 어시스턴트”, “음성 기반 관리자 명령”)
각자 실패를 개별적으로 브레인스토밍한다
모두에게 조용히, 떠오르는 대로 최대한 많은 “나쁜 결말”을 써 보게 한다. 안전 사고, 평판 손상, 규제 위반, 사용자 피해, 재무 손실, 공격자에 의한 악용 등 무엇이든 좋다.
과감한 사례를 장려한다
편안한 수준을 넘어가도록 독려하라. 기술적 실패 + 인간 오류 + 적극적 공격자가 결합된 사례까지 포함시킨다.
공유하고 클러스터링한다
비슷한 시나리오들을 묶는다. 예를 들면: 사기(fraud), 프라이버시 침해, 허위정보/오정보(misinformation), 물리적 안전 리스크, 내부자 남용, 사회공학(social engineering), 공급망 이슈 등.

이렇게 묶인 시나리오들이 바로 리스크 카드의 원재료가 된다.

2단계: 시나리오를 물리적 리스크 카드로 바꿔라

이제 상상 속 실패를, 실제로 섞고 나눠 들 수 있는 카드 덱으로 구체화한다.

각 리스크 카드는 다음과 같아야 한다.

구체적일 것: 시나리오가 구체적일수록 설계 논의가 좋아진다.
실행 가능할 것: “이에 대해 우리는 무엇을 할 수 있을까?”라는 질문을 끌어내야 한다.
재사용 가능할 것: 시간이 지나도 여러 기능에 두루 적용할 수 있을 만큼 일반적이어야 한다.

단순한 카드 템플릿은 다음과 같다.

제목(Title): 짧고 인상적인 레이블
카테고리(Category): 예) Fraud, Privacy, Safety, Social Engineering, Deepfake, Misuse, System Failure, Supply Chain, Regulatory 등
시나리오(Scenario): 어떤 일이, 어떻게 잘못되는지 2–4문장으로 설명
영향(Impact): 사용자, 조직, 공공, 환경 등
신호(Signals): 이것이 탐지될 수 있는 힌트 몇 가지 (예: “이상 로그인 패턴”, “고객 불만 폭증”, “언론 보도”, “경영진의 이상한 음성 통화”)

카드 예시

카드 1: 딥페이크 CEO의 긴급 송금 지시

카테고리: Social Engineering / Deepfake
시나리오: 공격자가 설득력 있는 합성 음성과 영상으로 CEO를 위장해, 제품의 커뮤니케이션·승인 도구를 통해 긴급하고 기밀스러운 송금 지시를 내린다. 직원들은 이를 따르면서 평소 통제를 우회한다.
영향: 대규모 금전 손실, 법적 리스크, 브랜드 훼손.

카드 2: 자동 승인 폭주(Auto-Approval Cascade)

카테고리: System Failure / Misconfiguration
시나리오: 자동 검토 시스템의 잘못된 설정으로, 고위험 행동(계정 업그레이드, 접근 권한 승인 등)이 대규모로 자동 승인되기 시작한다. 몇 주 동안 아무도 눈치채지 못한다.
영향: 보안 침해, 사기, 규제 위반.

카드를 실제 카드(또는 최소한 두꺼운 종이)에 인쇄하는 것은 중요하다. 촉각적 요소가 상호작용과 집중을 부른다.

3단계: 사회공학·딥페이크를 1급(first-class) 리스크로 취급하라

여전히 많은 제품 팀이 사람을 직접 노리는 공격, 특히 현실감 있는 위조(음성 클론, 영상 위장, 채팅 계정 스푸핑 등)를 과소평가한다.

이제 이런 것들은 더 이상 엣지 케이스가 아니다. 리스크 카드 덱 안에서 이들을 1급 시나리오로 다뤄야 한다.

음성 기반 사칭: “CFO”가 시스템을 통해 전화해 MFA 초기화, 딜 승인, 자격 증명 공유를 요청한다.
영상 딥페이크: 협업 도구에 공유된 가짜 이사회 영상 클립이, 서둘러 승인하도록 압박한다.
합성 문서·메시지: 내부 양식과 말투를 정교하게 흉내 낸 AI 생성 이메일·슬라이드가, 제품 워크플로를 악용한다.

각 사례마다, 공격자가 당신의 제품을 채널이자 증폭기로 어떻게 활용할지를 명시적으로 카드에 담아라.

제품이 대면 확인을 우회하기 쉽게 만들고 있지는 않은가?
위·변조를 드러낼 수 있는 컨텍스트나 메타데이터를 제거하고 있지는 않은가?
공격자가 탈취하기 좋은 “긴급·예외 기반” 워크플로를 정상적인 것으로 만들고 있지는 않은가?

이 위협들을 카드에 이름 붙여 올려두면, “너무 가설적인 것”, “우리 문제는 아니다”라며 쉽게 밀어내기 어려워진다.

4단계: 카드 덱으로 제품 결정을 스트레스 테스트하라

덱을 만들었다면, 책상 위에 전시만 하지 말고 실제 설계·리뷰 미팅에서 ‘플레이’하라.

간단한 활용법은 이렇다.

검토 중인 기능이나 설계 결정을 하나 정한다.
덱에서 카드를 3–5장 무작위로 뽑는다.
각 카드마다 다음을 질문한다.
- 이 기능이 이 리스크를 가능하게 하거나 증폭시킬 수 있는 경로는 무엇인가?
- 이 카드가 어떤 우리 가정을 흔들어 놓는가?
- 이 시나리오가 현실적으로 일어날 만큼 가능성이 커지려면, 무엇이 사실이어야 하는가?
- 이 사건의 연쇄를 끊을 수 있는 방어 장치나 통제는 무엇인가?
떠오른 대응·완화 아이디어를 바로 설계 문서, 이슈 트래커, 세이프티 케이스(safety case)에 기록한다.

이 과정을 반복하다 보면 패턴이 보이기 시작한다.

항상 침묵과 불편함을 부르는 반복적인 실패 유형
특정 기능이나 아키텍처가 일정 종류의 리스크를 체계적으로 키우거나 줄이는 양상

목표는 모든 리스크를 없애는 게 아니다. 대신, 트레이드오프를 명시적으로 만들고, 피할 수 있었던 재앙으로 무지하게 걸어 들어가지 않도록 하는 데 있다.

5단계: 덱을 살아 있는 아티팩트로 지속적으로 진화시켜라

정적인 리스크 목록은 금방 낡는다. 새로운 기술과 위협 패턴이 나타나고, 규제가 바뀌며, 공격 표면은 계속 커진다.

리스크 카드 덱을 살아 있는(living) 아티팩트로 다뤄라.

사고가 발생한 후(우리 조직이든, 다른 조직이든): 무슨 일이 어떻게 잘못되었는지 담은 새 카드를 만든다.
주요 출시 이후: 새로 발견된 엣지 케이스, 사용자 우회 패턴, 아슬아슬하게 비켜 간(near-miss) 사건들을 카드로 추가한다.
분기별 리뷰: 더 이상 의미 없는 카드를 은퇴시키고, 중복 카드를 합치고, “모델 조작(model manipulation)”, “프롬프트 인젝션(prompt injection)”, “정책 회피(policy evasion)” 같은 새로운 카테고리를 도입한다.

특히 규제·안전 중요도가 높은 도메인에서는, 카드 덱의 버전 이력을 남겨라. 이는 다음에 도움이 된다.

감사인·규제기관에 대한 사전 예방적 노력(due diligence) 입증
신규 팀원 온보딩 교육의 기준점
인력과 툴이 바뀌어도 이어지는 연속성 확보

6단계: MBSE·시뮬레이션 워크플로와 통합하라

이 카드 덱은 아날로그지만, 고립된 존재가 아니다. 모델 기반 시스템 엔지니어링(MBSE) 과 시뮬레이션 워크플로에 연결해, 복잡한 설계 단계에서 문제를 일찍 발견하는 데 활용할 수 있다.

활용 방법은 다음과 같다.

카드를 시스템 모델에 매핑한다
각 리스크 카드에 대해 SysML, UML, 아키텍처 다이어그램에서 관련 요소를 찾는다. 컴포넌트, 인터페이스, 데이터 플로, 인간 역할 등을 연결한다.
요구사항·제약 조건에 주석을 단다
카드에서 나온 인사이트를 구체적 시스템 요구사항과 안전 제약으로 바꾼다.
(예: “고위험 승인에는 별도 채널(out-of-band) 검증이 필수여야 한다.”)
시뮬레이션의 시나리오 파라미터로 삼는다
- 카드를 활용해 “만약에(what-if)” 시뮬레이션을 정의한다. 경고 지연, 센서 오판, 악성 명령, 큐 과부하, 조작된 입력 등.
- 사회기술적 리스크(예: 딥페이크 승인)의 경우, 인간 의사결정 지점과 시스템 가드레일(혹은 그 부재)을 모델에 표현한다.
검증·검증(Verification & Validation)과 연결한다
- 각 카드마다, 어떤 테스트·시뮬레이션·분석이 이 리스크가 완화·탐지·또는 최소한 경계(bound) 안에 있음을 보여주는지 추적한다.
- 이를 안전·보안 케이스의 일부로 활용한다.

이렇게 하면, 카드 덱은 사람의 직관에서 형식적 모델링으로 이어지는 온램프가 된다. 팀이 나쁜 결과를 상상하고, 이를 카드로 인코딩한 뒤, 모델·테스트·통제로 추적해 연결하는 것이다.

7단계: 통찰을 바탕으로 완화 우선순위와 ROI를 결정하라

모든 카드가 똑같이 중요한 것은 아니다. 카드 덱으로 리스크를 드러냈다면, 이제 무엇을 지금 다루고, 무엇을 나중으로 미룰지 결정해야 한다.

가벼운 우선순위 설정 흐름은 다음과 같다.

각 카드의 시나리오를 평가한다.
- 발생 가능성(Likelihood): 사용자군, 위협 환경, 아키텍처를 고려했을 때 얼마나 일어날 법한가?
- 영향(Impact): 사람, 조직, 환경, 컴플라이언스, 평판에 미치는 피해는 어느 정도인가?
- 탐지 가능성(Detectability): 얼마나 빨리, 얼마나 잘 포착할 수 있는가?
완화 패턴으로 클러스터링한다
어떤 완화책(예: 강력한 감사 로그, 다단계 승인, 이상 징후 탐지, 레이트 리밋(rate limit))은 여러 카드에 동시에 방어 효과를 낸다. 이런 것들이 대개 ROI가 높은 투자다.
우선순위를 로드맵에 반영한다
- 최상위 리스크를 백로그 항목으로 명시한다.
- 게이팅 기준을 추가한다. 특정 카드 시나리오에 대해, 최소한 일부는 완화됐거나, 명시적으로 ‘수용’하기로 결정되기 전까지 기능을 출시하지 않는다.
실제 결과를 추적한다
현실에서 사고가 발생하거나 발생하지 않았을 때, 다시 카드 덱을 꺼내 보라.
- 덱이 이 사고를 예측했는가?
- 그렇다면, 왜 완화가 우선순위에 오르지 못했는가?
- 예측하지 못했다면, 어떤 새 카드를 만들어야 하는가?

이 과정을 잘 운영하면, 위기 대응 패치와 평판 위기, 뒤늦은 재작업을 줄여 출시 품질(time-to-market quality) 이 향상된다. 장기적으로는 지속 가능한 ROI 우위로 이어진다. 피할 수 있었던 재앙에 쓸데없이 엔지니어링 리소스를 낭비하지 않게 되기 때문이다.

결론: 현실이 되기 전에 실패를 ‘생각할 수 있게’ 만들어라

자동화, AI, 금융 흐름, 안전 필수 결정이 얽힌 강력한 시스템은 언젠가 반드시 실패하고, 공격받는다. 문제는 그것을 미리 상상해, 조치를 취할 시간을 벌 수 있느냐이다.

아날로그 실패 예측 카드 덱은 막연한 불안감을 구조화된, 재사용 가능한 선견(foresight) 으로 바꿔준다.

구체적이고 다요인적인 실패 시나리오를 끌어내는 프리모텀
중요한 모든 대화에서 위협을 눈앞에 남겨 두는 물리적 리스크 카드
사회공학·딥페이크 리스크를 사소한 엣지가 아니라 핵심 설계 제약으로 다루기
MBSE·시뮬레이션과의 통합을 통해 인간의 상상력을 엄밀한 분석에 연결하기
완화·가드레일·ROI를 이끄는 살아 있는 아티팩트로서의 카드 덱

당신의 팀이, 잘못된 사람의 손에 들어가거나 잘못된 조건에서 돌아갈 경우 위험해질 수 있는 무언가를 만들고 있다면, 포스트모텀을 기다리지 마라. 먼저 덱을 펼쳐라.