배치가 실패하면 장애일까?

배치가 실행되지 않았다. 고객 영향은 확인되지 않았다.

이 상황을 곧바로 장애라고 선언해야 할까?

신뢰성(Reliability) 업무를 하면서 시스템 이상(Failure)과 서비스 장애(Incident)를 구분해야 하는 상황을 자주 마주쳤다. 시스템은 실패할 수 있다. 하지만 모든 실패가 고객 영향으로 이어지지는 않는다.

시스템 이상은 시스템이 기대한 방식으로 동작하지 않은 상태다. 서비스 장애는 그 실패가 우리가 보호하려는 서비스에 실제 영향을 준 사건이다.

둘을 구분하지 않으면 조직은 모든 이상 징후에 같은 수준으로 대응한다. 기준을 너무 느슨하게 잡으면 중요한 신호를 놓칠 수 있다.

판단 기준은 고객 영향이다.

우리가 지키려는 사용자 경험이나 비즈니스 결과에 어떤 영향을 주었는가?

우리 운영 절차에서는 이상 탐지(Anomaly)를 영향을 판단하는 단계로 관리했다. 낮은 심각도의 서비스 장애와는 구분했다.

이상 징후를 발견하면 먼저 영향도를 확인한다. 고객 영향이나 비즈니스 영향이 확인되면 서비스 장애로 전환한다. 영향이 없고 재실행이나 백필로 정상화됐다면 이상 탐지 단계에서 종료한다.

기술적 실패는 재발 방지를 위해 관리 대상으로 남긴다. 조직의 대응 수준은 실제 고객 영향에 맞춘다.

한정된 리소스로 모든 이상 상태에 조직 전체가 대응할 수는 없다. 고객 경험을 기준으로 상위 리더십과 우선순위를 맞춰야 한다. 이 기준을 장애 전에 정해야 대응자가 바뀌어도 조직 대응이 필요한 실패를 구분할 수 있다.