배포로 인한 고객 영향을 줄이기 위해 점진적 배포 정책을 만들었다. 일부에 먼저 배포하고 상태를 확인한 뒤 전체로 확대하는 방식이다.
모든 롤에 같은 정책을 적용하지는 않았다. 서비스에서 맡는 역할인 롤을 구분하고 고객에게 직접 영향을 줄 수 있는 주요 롤만 필수 대상으로 정했다.
점진적 배포를 사용하는 비율만 높여서는 고객 영향이 줄지 않는다. 일부에 배포한 단계에서 이상을 발견해야 전체로 확대하기 전에 대응할 수 있다.
과거 배포 장애를 다시 보며 점진적 배포로 영향을 줄일 수 있었는지 검토했다. 배포 이력과 요청률과 오류율과 처리 시간을 묶은 RED 메트릭을 재현해 탐지 기준도 시험했다.
점진적 배포를 적용하지 않은 팀에 이유를 물었다. 자동 롤백의 오탐을 걱정하는 팀이 있었다. 일부 배포 단계에서 중단한 배포가 장애로 집계되는지 모르는 경우도 있었다. 정책을 몰라서 적용하지 않은 팀도 있었다.
표준을 발표하기 전에 이 문제를 해결해야 했다.
점진적 배포 기능이 켜져 있다고 정책이 지켜지는 것은 아니다. 점진적으로 배포한 비율과 필수 대상이 기준을 지킨 비율을 따로 측정했다.
적용률은 점진적 배포 기능을 켠 배포의 비율이다. 준수율은 필수 대상이 정한 절차를 지켰는지 확인한다. 두 값이 다르면 기능 부족인지 정책 예외인지 확인할 수 있다.
사용자가 어느 단계에서 멈추는지 보려고 두 지표를 나눴다.
Google SRE도 일부 트래픽에 변경을 노출한 뒤 전체 배포 여부를 판단하는 절차를 설명한다. 배포 자동화는 반복 작업을 줄이는 것과 함께 일관된 절차를 만든다. Canarying Releases
이 정책을 적용한 뒤에는 전체 배포를 마친 후 롤백하는 건수가 눈에 띄게 줄었다. 적용률과 준수율뿐 아니라 전체 배포 후 롤백이 얼마나 줄었는지도 확인해야 정책의 효과를 볼 수 있다.