Rain Lag

신뢰성 필통: 항상‑온 엔지니어링 일을 길들이는 작은 아날로그 습관들

단순한 ‘신뢰성 필통’과 몇 가지 작은 아날로그 습관이 온콜 업무를 덜 벅차게 만들고, 신뢰성 문화를 강화하며, 장애를 조직의 장기적인 학습으로 바꾸는 방법.

서론: 잠들지 않는 세상에서의 신뢰성

항상‑온(Always‑On) 시스템은 항상‑온 인간을 만들어 냈습니다.

신뢰성, SRE, 플랫폼, 프로덕션 엔지니어링을 하고 있다면 이 패턴을 너무 잘 알 겁니다. 끊임없는 컨텍스트 스위칭, 이상한 시간대에 울리는 Slack 알림, 예고 없이 열리는 인시던트 브리지, 그리고 ‘나중에’로 밀리기만 하는 포스트모템(backlog). 도구들은 많이 좋아졌지만, 언제든 불려 나갈 수 있다는 느낌은 좀처럼 사라지지 않습니다.

디지털 도구는 필수적이지만, 그것만으로는 부족합니다. stakes(위험도)가 높고 인지 부담이 이미 한계까지 올라갔을 때, 작고 로우테크한 습관들이 조용히 가장 든든한 아군이 될 수 있습니다. 여기서 **신뢰성 필통(reliability pencil case)**이라는 아이디어가 나옵니다.

이건 그냥 필기구 얘기가 아닙니다. 은유이자 실제 키트입니다. 인시던트를 오래 가는 학습으로 바꾸고, 온콜을 지속 가능하게 만들며, 매일 하는 일을 조직의 신뢰성 목표와 연결해 주는, 작고 물리적인 도구와 프롬프트 세트입니다.


디지털 인시던트 세계에서 아날로그 습관이 중요한 이유

대부분의 인시던트 대응은 소프트웨어가 주도합니다. 페이징 도구, 채팅, 런북, 대시보드, 티켓 시스템. 협업과 가시성에는 훌륭하지만, 당신의 뇌가 방금 일어난 일을 진짜로 학습하게 만드는 데에는 형편없습니다.

연구에 따르면, 손으로 쓰는 노트는 다음과 같은 효과가 있습니다.

  • 정보를 더 깊이 처리하게 만들고
  • 그대로 베끼기보다 요약과 개념적 사고를 유도하며
  • 장기적인 기억과 회상을 더 좋게 만들어 줍니다.

인시던트 한복판에서는 워킹 메모리가 이미 과부하입니다. 모든 것이 금방 사라지는 채팅 스레드와 흩어진 탭들 안에만 남아 있으면, 의미 있는 학습의 대부분은 복구가 끝난 직후 증발해 버립니다.

“인시던트가 시작됐다” 싶을 때 연필과 전용 노트를 집어 드는 것 같은 아주 작은 아날로그 습관은 당신을 이렇게 만들게 합니다.

  • 무슨 일이 일어나고 있는지 잠깐이라도 의식적으로 바라보게 하고
  • 맥락과 결정을 자신의 언어로 기록하게 하고
  • 나중에 강력한 블레임리스(blameless) 포스트모템을 만드는 원자 재료를 남기게 해 줍니다.

신뢰성 필통의 목표는 이 습관을 항상‑온 업무의 일부로 설계해 넣는 것입니다.


신뢰성 필통: 무엇이고, 무엇이 아닌가

신뢰성 필통을 책상 위나 가방 안에 항상 두고 다니는 작은 포터블 키트라고 생각해 보세요. 의도적으로 마찰이 적고, 로우테크합니다.

  • 인시던트와 온콜 전용으로 쓰는 심플한 노트
  • 진짜로 쓰기 편한 펜이나 연필
  • 작은 프롬프트가 인쇄된 카드나 포스트잇 몇 장
  • 선택 사항: 체크리스트나 후속 작업을 적는 작은 인덱스 카드

이건 예쁘게 다꾸하는 저널링이 아닙니다. 목표는 **보기 좋은 노트가 아니라 신뢰성 결과(reliability outcomes)**입니다.

필통의 힘은 여기서 나옵니다. 필통이 고정시켜 주는 것은 작고 반복 가능한 아날로그 습관이고, 이 습관들이 블레임리스 포스트모템, 지속 가능한 온콜, 조직 학습 같은 핵심 실천을 뒷받침합니다.


블레임리스 포스트모템은 인시던트 도중에 시작된다

많은 팀이 포스트모템을 관료적인 사후 처리 정도로 여깁니다. ‘프로세스가 있으니까’ 억지로 쓰는 문서. 그러면 얕은 분석, 사람을 탓하는 내러티브, 반복되는 인시던트로 이어집니다.

블레임리스 인시던트 포스트모템은 다릅니다. 이들은:

  • 개인의 실수보다 시스템과 조건에 초점을 맞추고
  • 범인을 찾기보다 근본 원인과 기여 요인들을 찾으며
  • 정직함, 호기심, 학습을 장려합니다.

하지만 이걸 잘하려면, 실시간에 가까운 좋은 원시 데이터가 필요합니다. 사람들이 그때 무엇을 보고, 생각하고, 시도했는지에 대한 정보죠.

여기서 필통이 빛을 발합니다.

작은 습관: 인시던트마다 ‘세 줄 쓰기’ 규칙

“이건 인시던트다”라고 느끼는 순간, 노트를 꺼내 딱 세 줄만 씁니다.

  1. 시간 + 트리거 — "10:24 UTC – 체크아웃 API 500 증가로 PagerDuty 알림."
  2. 첫 번째 가설 — "새 배포 문제일 수도? 아니면 상위 결제 프로바이더 이슈."
  3. 첫 번째 액션 — "마지막 배포 롤백; 결제 프로바이더 상태 페이지 확인 중."

끝입니다.

이 작은 습관은:

  • 나중에 학습에 핵심이 되는 초기 멘탈 모델을 포착하고
  • 위기 상황에서도 유지할 수 있을 만큼 인지 비용을 낮게 유지하며
  • 훨씬 풍부하고 솔직한 포스트모템을 위한 씨앗이 됩니다.

나중에 포스트모템을 작성할 때, 이 짧은 노트들이 진짜 이야기를 복원하게 도와줍니다. 헷갈렸던 순간, 잘못 짚었던 방향, 사람들의 맥락. 이렇게 해야 진짜 블레임리스 분석이 가능합니다. 사후에 사람을 평가하는 대신, 그런 결정을 낳은 시스템을 보게 되니까요.


포스트모템을 ‘가끔 하는 행사’가 아닌 ‘정기적인 연습’으로

포스트모템을 드물고 무거운 행사로 만드는 순간, 이런 신호를 보내게 됩니다. “학습은 예외적인 일이다.”

높은 신뢰성을 가진 팀은 포스트모템을 정기적인 연습으로 취급합니다.

  • 심각도가 낮은 인시던트도 가벼운 리뷰는 진행하고
  • 반복되는 패턴이 보이면 더 깊은 분석을 하고
  • 배운 내용은 런북, 툴링, 교육에 되먹임(feedback)합니다.

필통은 이 리듬을 물리적으로 체감하게 도와줄 수 있습니다.

작은 습관: 포스트모템마다 ‘한 페이지’ 규칙

사전에 정의한 기준(예: 고객 영향, 지속 시간)을 넘는 인시던트마다, 노트 한 페이지를 딱 정해 같은 구조로 씁니다.

  • 무엇이 일어났는지 (팩트만)
  • 무엇이 우리를 놀라게 했는지
  • 무엇이 도움이 되었는지
  • 무엇 때문에 불필요하게 더 힘들어졌는지
  • 실제로 실행할 ‘시스템적 개선’ 한 가지

한 페이지로 스스로를 제한하면:

  • 완벽주의와 과도한 수정에서 벗어나고
  • 가장 중요한 인사이트에 집중하게 되며
  • 포스트모템을 꾸준히 하는 것이 현실적인 수준이 됩니다.

시간이 지나면, 이 노트는 팀의 신뢰성 여정을 기록한 물리적 로그가 됩니다. “우리는 계속 배우고 있다”는 문화를 보여 주는 아티팩트입니다.


온콜 도구, 자동화, 그리고 인간의 뇌

디지털 인시던트 도구는 점점 더 많은 일을 대신해 줍니다.

  • 좋은 온콜 도구는 최근 배포, 알려진 이슈, 관련 대시보드 등 적절한 컨텍스트를 바로 보여 주고
  • 자동화된 코디네이션은 페이징, 상태 업데이트, 에스컬레이션, 이해관계자 커뮤니케이션을 처리합니다.

이는 인지 부담을 줄이는 데 필수입니다. 사람들은 이제 물류(manual coordination) 대신 문제 해결에 집중할 수 있습니다.

하지만 도구가 아무리 좋아도, 여전히 한 가지 갭이 남습니다. 데이터와 이벤트에서 이해와 학습으로 넘어가는 그 구간입니다.

아날로그 습관이 이 갭을 메워 줍니다. 도구가:

  • 인시던트 타임라인을 자동으로 채우고
  • 채팅 로그와 결정을 기록하고
  • 태스크와 후속 조치를 추적해 줄 때

필통은 인간만 할 수 있는 일을 돕습니다.

  • 장애가 어떻게 전파됐는지 간단한 다이어그램을 그려 보고
  • “지금 이 순간, 시스템이 어떻게 동작하고 있다고 생각하는지”를 한 줄로 요약하고
  • 헷갈리거나 팀 내 정렬이 안 되었던 순간을 짚어 두는 것.

이런 낙서들이 **멘탈 모델 불일치(mental model mismatch)**를 드러내는 경우가 많습니다. 로그만 봐서는 보이지 않는 부분이죠. 그런데 바로 이런 불일치에, 가장 강력한 신뢰성 개선 포인트가 숨어 있는 경우가 많습니다.


공정하고 투명한 온콜: 설계 단계에서부터 번아웃을 막기

항상‑온 엔지니어링이 지속 가능하려면, 온콜이 미스터리나 일부 사람에게만 지워지는 짐이 되어서는 안 됩니다.

공정하고 투명한 온콜 분배는 다음을 위해 필수입니다.

  • 번아웃과 이탈을 예방하고
  • 신뢰와 심리적 안전을 유지하고
  • 학습과 개선에 쓸 에너지를 보존하는 것.

당연히 제대로 된 스케줄링 도구와 정책이 필요하지만, 작은 아날로그 습관은 사람이 실제로 겪는 부하를 더 잘 보이게 만들어 줍니다.

작은 습관: 온콜 공정성 스냅샷

분기마다 한 번, 노트 두 페이지를 씁니다.

  • 그동안 온콜을 섰던 사람을 모두 적고
  • 각 이름 옆에 다음을 표시합니다.
    • 온콜을 선 주(week)의 수
    • 근무시간 외에 처리한 인시던트 수
    • 고심각도(high‑severity) 인시던트 수

풀스케일 애널리틱스를 하는 게 아닙니다. 그냥 손으로 그린 스냅샷 정도면 됩니다.

그리고 이렇게 질문에 답을 씁니다.

  • “여기서 뭔가 불공정하거나 지속 불가능해 보이는 게 있는가?”
  • “있다면, 다음 분기에 시도할 작은 변화 한 가지는 무엇인가?”

이 연습은:

  • 보이지 않던 부하를 눈앞에 드러내고
  • 계획 수립이나 거버넌스 논의 자리에 실물 아티팩트를 가져갈 수 있게 해 주며
  • ‘지속 가능성’이 신뢰성의 일부라는 메시지를 강화합니다. (나중에 생각할 게 아니라.)

인시던트를 조직 거버넌스와 연결하기

신뢰성 작업은 기능 개발, 마감일, 예산과 늘 경쟁합니다. 인시던트 대응과 포스트모템이 거버넌스와 연결되지 않으면, “있으면 좋지만, 없어도 되는 것” 취급을 받기 쉽습니다.

인시던트를 거버넌스 안에 통합한다는 것은:

  • 신뢰성 관련 작업이 우선순위와 예산을 확보하고
  • 포스트모템 결과가 로드맵과 인력 계획에 영향을 미치며
  • 리더십이 신뢰성을 비즈니스 목표와 상충하는 것이 아니라 정렬된 것으로 본다는 뜻입니다.

여기서도 아날로그 습관이 강력하고 읽기 쉬운 증거를 제공합니다.

작은 습관: 월간 신뢰성 브리프

한 달에 한 번, 인시던트 노트와 포스트모템 페이지를 훑어봅니다. 그리고 새 페이지에 아주 간단한 브리프를 씁니다.

  • 최근에 보이는 Top 3 테마 (예: “배포 마찰”, “런북 공백”, “툴링으로 인한 방해”)
  • 인시던트의 비용이나 고통을 잘 보여 주는 하나의 스토리
  • 당신이 제안하는 구체적인 개선 사항 세 가지 (대략적인 임팩트/노력 추정 포함)

이 브리프를 거버넌스를 다루는 어떤 포럼에서든 사용합니다. 운영 리뷰, 프로덕트 플래닝, 리더십 싱크 등.

이 브리프는 손으로 쓴 관찰과 패턴에 기반하기 때문에, 대시보드 스크린샷보다 더 날카롭고 설득력 있는 경우가 많습니다. 단순한 메트릭이 아니라 살아 있는 경험을 대변하기 때문입니다.


시작하기: 나만의 신뢰성 필통 만들기

거창하게 준비할 필요 없습니다. 이렇게 시작하면 됩니다.

  1. 작은 노트를 하나 준비하고 겉표지에 이렇게 씁니다: "Incidents & On‑Call" 또는 원하는 한국어 이름.
  2. 마음에 드는 필기구 하나를 고르고, 인시던트 대응을 주로 하는 자리에서 손 뻗으면 닿는 곳에 둘 것.
  3. 포스트잇이나 인덱스 카드에 아주 단순한 프롬프트 2~3개를 적습니다. 예를 들어:
    • "인시던트 시작 시 세 줄 쓰기"
    • "포스트모템마다 한 페이지"
    • "월간 신뢰성 브리프"
  4. 팀에 이 실험을 공유하고, 함께 해 보자고 초대하세요. 한 달쯤 지나면 필통 사진 한 장이나 간단한 소감 한 단락을 서로 공유해 보세요.

핵심은 완벽함이 아니라 지속성과 작음입니다. 복잡하지만 쓰지 않는 시스템보다, 작지만 매번 실행하는 습관이 훨씬 낫습니다.


결론: 작고 손으로 쓰는 신뢰성의 실천

항상‑온 엔지니어링이 완전히 편해지는 날은 오지 않을 것입니다. 하지만 더 인간적이고, 더 효과적이 될 수는 있습니다.

  • 인시던트 도중의 실제 생각을 노트에 남겨 두면 블레임리스 포스트모템이 훨씬 수월해지고,
  • 포스트모템을 가볍고 정기적인 연습으로 만들면 학습이 일상 업무 속에 녹아들며,
  • 좋은 온콜 도구와 자동화는 인지 부담을 줄여 주고, 아날로그 습관은 뇌가 실제로 이해하고 기억하게 도와줍니다.
  • 공정하고 투명한 온콜 문화는 번아웃을 막는 방파제가 되고,
  • 단순한 손글씨 요약은 인시던트에서 얻은 학습을 조직의 거버넌스와 투자 결정으로 연결해 줍니다.

신뢰성 필통은 모든 해답이 디지털에만 있지 않다는 상기입니다. 때로는 가장 강력한 신뢰성 도구가 노트 한 권, 연필 한 자루, 그리고 혼돈을 학습으로 바꾸는 작은 습관들의 모음일 수 있습니다. 그것도 인시던트 한 번, 한 번을 통해서 말이죠.

신뢰성 필통: 항상‑온 엔지니어링 일을 길들이는 작은 아날로그 습관들 | Rain Lag