서론: 아날로그가 유령이 되는 순간

산업용 제어, 방송 인프라, 오디오 체인, 구형 계측기를 유지보수해본 사람이라면 이런 경험이 있다. 시스템이 멈추고, 알람이 울리고, 팀이 출동한다. 하지만 막상 현장에 도착하면 모든 게 멀쩡해 보인다. 하드웨어를 점검해도 결과는 한 줄이다. No Fault Found (NFF, 이상 없음).

장애 티켓은 종결되고, 장비는 다시 서비스에 투입된다. 그리고 모두가 속으로 안다. 이 고장은 가장 안 좋은 타이밍에 다시 나타날 거라는 걸.

아날로그 시스템이 더 복잡해지고, 디지털 제어와 하이브리드로 엮이고, 설계 수명을 훌쩍 넘어 운용되는 일이 많아지면서 NFF 사례는 점점 늘고 있다. 근본 원인은 대개 부품이 spectacular하게 터지는 게 아니라 눈에 거의 안 보이는 미세한 변화다. 살짝 옮겨진 점퍼, 다시 체결된 제어선, “테스트용으로만” 달았다가 안 떼고 남겨둔 단자대 같은 것들.

여기서 **‘아날로그 신뢰성 시그널 가든(Analog Reliability Signal Garden)’**이라는 개념이 등장한다. 아날로그 환경을, 고장이 잡초처럼 숨어들기 좋아하는 정원이라고 생각하자. 그리고 그 고장들이 자주 숨어드는 곳마다 종이 태그, 체크리스트, 로그, 스케치 같은 의도적인 로우테크 단서를 심어두는 것이다.

이건 클립보드를 향한 향수가 아니다. 신뢰성을 위한 전략이다.

아날로그 시스템에서 “이상 없음(NFF)”이 가져오는 숨은 비용

NFF는 언뜻 harmless해 보인다. “이상 없었음.” 하지만 실제로는 다음과 같은 문제를 만든다.

• 불필요한 분해·재조립과 재작업을 유발하고
• 예비 부품 소모를 키운다(보드·모듈을 닥치는 대로 교체하는 ‘샷건’ 수리)
• 트러블슈팅 인력 시간을 갈아 넣으면서도 아무런 학습 결과를 남기지 못하고
• 시스템과 지원팀 모두에 대한 신뢰를 떨어뜨린다

패턴은 대체로 이렇게 흘러간다.

1. 시스템에서 일시적·간헐적 고장이 발생한다.
2. 현장 팀이 출동하지만, 이미 환경이 바뀌었거나 증상이 사라져 있다.
3. 벤치 테스트와 진단을 해도 뚜렷한 결함이 보이지 않는다.
4. “이상 없음, 모니터링 요망” 같은 애매한 메모와 함께 장비가 재투입된다.

이 과정에서 구조화된 맥락을 남기지 않으면, 사실상 다음과 같은 기회를 날려버리는 셈이다.

• 트렌드 탐지: (예: 항상 더운 날, 라인 재구성 이후, 정기 점검 직후에만 발생)
• 다른 신호와의 상관관계 파악: (전압 강하, 기계 진동, 사람의 조작介입 등)
• 설계·운영 관행 개선

NFF는 거의 절대 “아무 일도 없었다”가 아니다. 보통은 **“뭔가 일어났지만 우리가 관측·기록하는 데 실패했다”**에 가깝다.

작은 아날로그 변화가 큰 고장으로 번지는 메커니즘

현대의 아날로그 시스템은 보통 다음 경계면에 놓여 있다.

• 전력과 제어 사이
• 센서와 연산(컴퓨테이션) 사이
• 구형 하드웨어와 신형 자동화 시스템 사이

이 어중간한 경계 지대에서는 아주 작은 변화가 과도한 영향을 미치기 쉽다. 예를 들면:

• 캐비닛 배선을 “깔끔하게 정리”한다며 제어 신호 배선을 갈아엎은 경우
• 급한 수리 중에 실드 접지 위치를 살짝 바꾼 경우
• 테스트를 위해 잠깐 뺐던 점퍼를 한 핀 어긋나게 다시 꽂은 경우
• 하이 임피던스 회로에 테스트 포인트를 하나 추가한 경우

각각은 사소하고, 문서화되지 않고, 금방 잊히기 쉽다. 하지만 결과는 이렇다.

• 특정 부하나 온도 조건에서만 나타나는 불안정
• 특정 설정에서만 보이는 발진
• 간헐적인 보호 동작/오작동 알람
• 점검 후 바로가 아니라 어느 시점 이후에만 나타나는 고장

이런 문제는 재현이 가장 어려운 유형이다. 동작 여부가 “그때 그 시점의 실제 물리적 구성 상태”에 달려 있는데, 그 구성이 제대로 기록돼 있지 않기 때문이다. 도면에는 A라고 적혀 있는데, 실제 패널과 필드 배선은 B로 되어 있는 식이다.

무엇을 건드렸고, 무엇을 옮겼고, 어디를 다시 체결했는지에 대한 흔적이 없으면, 근본 원인 분석은 사실상 추측 게임이 된다.

정원사처럼 생각하기: 신호의 자취를 심어두기

아날로그 시스템을 고정된 설비가 아니라 정원처럼 생각해보자.

• 시간에 따라 계속 변하고
• 점검·정비 과정에서 사람들이 회로를 “전지”하고 “이식”하며
• 가시성이 떨어지는 곳에는 (추적되지 않은 변경이라는) 잡초가 자라기 쉽다.

아날로그 신뢰성 시그널 가든이란, 장애가 숨어들기 좋아하는 곳마다 작고 눈에 잘 띄는 단서들을 심어두는 규율이다.

1. 종이 태그와 마킹

• 임시 배선이나 수정된 배선에는 내구성 있는 날짜 기재 태그를 사용한다.
• 캐비닛 안에 누가, 무엇을, 왜 바꿨는지 직접 적어둔다.
• 용도별로 색을 나눈다: 임시 테스트, 영구 변경, 의심 구간 표시 등.

이렇게 하면 눈앞에 물리적인 감사(감사 추적) 흔적이 생긴다.

“이 점퍼는 2025‑01‑12 A. Nguyen이 테스트 T‑34를 위해 이동. 2025‑01‑19까지 채택되지 않으면 원복.”

2. 로컬 종이 로그

CMMS나 티켓 시스템 같은 디지털 도구도 중요하지만, 장비와는 물리적으로 멀리 있다. 따라서 장비 옆에 두는 간단한 종이 로그를 추가한다.

• 랙·캐비닛마다 비치한 제본 노트나 카드 세트
• 개입 한 번당 한 줄: 시간, 작업자, 조치 내용, 관찰된 동작
• 간단한 신호 경로나 이상 동작 스케치

이후에 고장이 발생하면, 현장 로그만 봐도 최근 며칠·몇 주 사이에 무엇이 바뀌었는지 여러 시스템을 뒤질 필요 없이 바로 확인할 수 있다.

3. 고장 지점에 붙이는 체크리스트

문제가 자주 생기는 지점(단자대, 릴레이 보드, 커넥터 등)에는 라미네이팅된 체크리스트를 붙인다.

• “이 패널을 닫기 전에 반드시 확인할 사항: …”
• “채널 X의 노이즈를 조사할 때, 우선 아래 5가지를 확인할 것.”

이런 도구는 로우테크지만, 반복 가능한 절차를 제공해 사람마다 다른 대응을 줄인다.

SRE에서 배워오는 것: 아날로그 시스템을 ‘운영 가능’하게 만들기

Site Reliability Engineering(SRE)은 소프트웨어 영역에서 발전했지만, 그 핵심 개념은 아날로그 도메인에도 그대로 적용된다.

1. 구조화된 프로세스와 명확한 오너십

아날로그 장애는 종종 이런 경계선 사이로 떨어져 버린다.

• 설계 vs. 필드 서비스
• 전기 vs. 기계
• 벤더 vs. 운영자

SRE가 강조하는 건 명확하다. 누군가는 신뢰성을 책임져야 한다.

• 중요한 아날로그 자산·서브시스템마다 명확한 시스템 오너를 지정한다.
• 그에게 가동률뿐 아니라 **사후 학습(Post‑Incident Learning)**에 대한 책임도 부여한다.
• 자주 발생하는 고장에 대해서는 **런북(runbook)**을 공식화한다. (표준 대응 절차)

2. 비난 없는 사후 리뷰(Post‑Incident Review)

의미 있는 아날로그 장애, 특히 NFF 사례까지 포함해 사후 리뷰를 진행한다.

• 증상, 타임라인, 영향도를 정리하고
• 물리적 시스템 상태를 기록한다: 태그, 변경사항, 특이한 관찰 내용 등.
• 우리가 몰랐던 것과, 다음에는 그것을 어떻게 관측할지까지 문서화한다.

목표는 ‘누가 잘못했는지’ 찾는 게 아니라, 다음 장애에서 더 많은 데이터를 남길 수 있도록 관측성과 프로세스를 개선하는 것이다.

아날로그 환경에서의 모니터링과 알림 설계

견고한 모니터링은 마이크로서비스만을 위한 것이 아니다. 아날로그 시스템에도 필요하다.

커버리지(Coverage)

• 핵심 아날로그 변수: 전압, 전류, 온도, 신호 레벨 등을 모니터링한다.
• 특히 인터페이스와 경계 지점에 주목한다: 전원 인입, I/O 카드, 필드 배선 등.

신호 대 잡음비(Signal‑to‑Noise Ratio)

• 조치 불가능한 알람을 남발해 운영자를 피로하게 만들지 않는다.
• 실제 리스크와 연관된 알림을 설계한다. 예: 추세 변화, 반복 트립, 복합 조건에서만 뜨는 알람 등. 단일 순간 스파이크만으로는 알림을 울리지 않도록 한다.

에스컬레이션 경로

• 어떤 유형의 아날로그 이슈에 대해 누가 호출(paging) 대상인지를 정의한다.
• 호출 대상자에게는 즉시 확인 가능한 맥락을 제공한다: 최근 변경 내역, 인접 알람, 알려진 취약 지점 등.

24/7 대응 준비

• 아날로그 장애도 머피의 법칙을 따른다. 대개 새벽 2시에 터진다.
• 온콜 인력이 어디서든 문서, 로그, 도면에 원격 접근할 수 있게 하고, 현장 기술자에게 전달할 명확한 지침을 갖추도록 한다.

아날로그 환경을 SLA를 가진 서비스 플릿처럼 다룰수록, “이상한 유령 장애”는 점점 줄어든다.

격차 메우기: 로우테크 단서 + 하이터크 자동화

가장 효과적인 신뢰성 프로그램은 종이와 소프트웨어 중 하나를 고르지 않는다. 둘을 결합한다.

가벼운 아날로그 단서들

• 리비전 이력을 표시하는 태그, 스티커, 케이블 마커
• 패널 옆에 붙여둔 체크리스트와 빠른 진단 절차
• 현장에서 바로 적는 로컬 인시던트 카드: 관찰된 현상, 환경 상태, 특이한 소리나 냄새 등

SRE 스타일 자동화와 인시던트 관리

• 모든 알람, 트립, 운영자 조치를 중앙 시스템에 기록한다.
• 아날로그 이상 징후(예: 잦은 차단기 트립, 노이즈 플로어 상승)를 정비 윈도우나 배선 변경 같은 이벤트와 자동 상관 분석한다.
• 단발성 이벤트가 아니라 장기 추세를 시각화하는 대시보드를 운용한다.

장애가 발생했을 때, 기술자는 동시에 두 가지를 볼 수 있어야 한다.

1. 물리적 현실: 태그, 라벨, 스케치, 체크리스트
2. 디지털 스토리: 로그, 히스토리 그래프, 인시던트 타임라인

이 두 시야가 합쳐지면, 설명 불가능했던 NFF 사건이 인식 가능하고 해결 가능한 패턴으로 바뀐다.

아날로그 인프라를 위한 총체적 신뢰성 전략

NFF 발생률을 크게 줄이고 아날로그 시스템 수명을 연장하려면, 신뢰성을 단순한 트러블슈팅 단계가 아니라 라이프사이클 전체의 과제로 다뤄야 한다.

1. 설계 단계

   • 테스트 가능성과 관측성을 고려해 설계한다: 테스트 포인트, 명확한 라벨링, 실제 물리 배치와 일치하는 회로도.
   • 모니터링 훅을 미리 심어둔다: 센스 라인, 상태 접점, 셀프 테스트 모드.

2. 시운전 및 운영 단계

   • 초기부터 시그널 가든을 조성한다: 태그, 로컬 로그, 패널 부착 문서.
   • SRE 스타일 인시던트 대응을 교육한다: 트리아지, 기록, 사후 리뷰.

3. 정비 및 업그레이드 단계

   • 현장의 모든 변경을 물리 세계에 남기는 git 커밋처럼 취급한다: 작성자, 타임스탬프, 사유, 롤백 계획.
   • NFF 사례를 한 묶음으로 정기 리뷰한다: 매번 빠졌던 관측 포인트는 무엇이었고, 다음에는 어떤 계측·문서화를 추가할지 논의한다.

4. 지속적인 학습

   • 반복되는 패턴(예: “항상 이 단자대를 재배선한 뒤에만 발생”)을 표준, 템플릿, 체크리스트 변경으로 승격시킨다.
   • 시그널 가든 덕분에 큰 장애를 피했거나 진단 시간을 줄인 성공 사례를 공유한다.

결론: 장애가 당신을 위해 일하게 만들기

아날로그 시스템은 사라지지 않는다. 많은 산업에서 여전히 핵심 인프라의 척추 역할을 하고 있다. 이들이 노후화되고 디지털 제어와 더 복잡하게 얽힐수록, 설명 안 되는 고장과 NFF 사례는 더 늘어날 것이다. 우리가 일하는 방식을 바꾸지 않는 한.

다음과 같은 접근을 통해:

• 장애가 숨어들기 쉬운 곳마다 로우테크 물리 단서를 심고,
• 오너십·프로세스·학습이라는 SRE 원칙을 적용하며,
• 종이 흔적과 자동 모니터링·인시던트 관리를 결합하면,

아날로그 신뢰성은 소방전(소방수 모드)에서 벗어나 규율 있고 관측 가능한 운영 프랙티스로 전환된다.

모든 장애를, 당신의 아날로그 신뢰성 시그널 가든을 키울 기회로 바라보라. 오늘 심어둔 단서가 많을수록, 내일 쫓아다녀야 할 유령은 줄어든다.