재발 방지 조치는 어디까지 확인해야 끝날까?

장애 이후 쿼리 개선안을 서비스 팀에 전달했다. 조회 결과가 중복으로 늘어나면서 DB가 보내는 데이터도 많아지는 문제였다.

서비스 팀이 개선안을 적용한 뒤 배포 전후의 DB 송신량을 비교했다. 송신량이 줄어든 것을 확인했다. 이 작업에서는 배포를 마치는 것과 데이터 전송 부하가 줄었는지 확인하는 것까지 필요했다.

배포 전후의 숫자를 비교할 때는 트래픽과 조회 조건도 봐야 한다. 요청량이 줄었거나 다른 변경이 함께 적용됐다면 송신량 감소를 쿼리 수정의 효과로만 볼 수 없기 때문이다.

확인한 범위도 남겨야 한다. 이번에는 개선안 적용 후 송신량이 줄었다는 결과를 확인했다. 모든 부하 조건에서 같은 장애가 나지 않는지까지 검증한 것은 아니다. 비슷한 쿼리가 다른 곳에 있는지 살펴보는 일도 별도로 남아 있었다.

재발 방지 작업을 끝낼 때는 무엇을 바꿨는지와 그 변경으로 어떤 부하가 줄었는지를 함께 남겨야 한다. 이 사례의 완료 기준은 쿼리 수정 배포와 DB 송신량 감소 확인이었다. 검증하지 않은 조건과 다른 쿼리의 점검은 후속 작업으로 구분해야 배포 완료가 재발 위험을 모두 없앴다는 뜻으로 남지 않는다.