요약
AI 코드 생성기 롤아웃 시뮬레이터는 AI가 작성한 문제 변경이 롤백되기 전에 30일 에러 버짓을 얼마나 소모하는지 보여줍니다. 트래픽, SLO, 롤아웃 단계표, 관찰 시간, 인지 속도를 입력하세요. 단일 100% 배포, 사람이 감시하는 단계적 배포, 자동 SLO 게이트를 누구나 손으로 검산할 수 있는 단순 산술로 비교합니다.
세 줄의 계산, 숨겨진 모델은 없습니다
에러 버짓
버짓 = (1 - SLO) × 초당 평균 요청 수 × 30일 동안의 2,592,000초. 초당 200 요청과 99.9% SLO라면 한 달에 허용되는 실패 요청은 518,400건입니다.
시간에 따른 노출
롤아웃 단계표는 각 분마다 새 코드가 받는 트래픽 비율을 줍니다. 시뮬레이터는 첫 요청부터 인지 시간과 되돌리기 시간의 합까지 이 비율을 적분하므로, 느린 인지는 변경을 더 큰 단계로 밀어 넣습니다.
실패 요청
실패 요청 = 초당 요청 수 × 실패 비율 × 노출 적분. 이를 버짓으로 나누면 문제 변경 하나가 한 달에서 차지하는 비율이 나옵니다. 같은 단계표에서 세 가지 인지 방식을 비교합니다.
AI가 만든 diff에서 롤아웃 계획까지
-
1
비관적인 입력값을 고르세요
AI 코드 생성기가 작성하고 빠르게 리뷰한 변경이라면, 잘못되었을 때의 실패 비율은 높게, 사람의 인지 시간은 최근 가장 느렸던 장애 기준으로 잡으세요. 가장 빨랐던 사례를 기준으로 잡으면 안 됩니다.
-
2
세 가지 시나리오를 비교하세요
단일 배포는 최악의 경우를 보여줍니다. 사람이 감시하는 단계적 배포는 지금의 단계표가 실제로 얼마나 보호하는지 보여줍니다. 자동 게이트는 SLO 지표에 연결된 게이트가 무엇을 바꾸는지 보여줍니다.
-
3
계획을 런북에 복사하세요
복사 버튼은 단계와 최악의 경우 버짓 소모율을 일반 텍스트로 내보냅니다. 변경 티켓이나 풀 리퀘스트 설명에 바로 붙여넣을 수 있습니다.
버짓을 가장 많이 아끼는 곳은 첫 단계입니다
실패 비율이 20%인 변경은 트래픽 1%에서 요청의 0.2%를 실패시킵니다. 같은 변경이 100%에서는 다섯 요청 중 하나를 실패시킵니다. 이 두 숫자의 차이가 점진적 롤아웃의 핵심 근거입니다. 생성기가 몇 초 만에 수백 줄을 만들어 내면 줄당 리뷰 시간이 줄어들고, 첫 단계가 문제를 발견하는 곳이 됩니다.
- 1% 첫 단계는 다른 무엇을 측정하기 전에 영향 범위를 99% 줄입니다.
- 관찰 시간은 그 구간 안에서 회귀가 보일 때만 도움이 됩니다.
- 더 빨리 되돌리는 것도 더 빨리 인지하는 것만큼 가치가 있습니다. 둘 다 노출 적분에 더해지기 때문입니다.
세 숫자로 무엇을 할지 정하기
단일 배포
그럴듯한 실패 시나리오에서 이 숫자가 월간 버짓의 5%를 넘는다면, 한 번에 배포하는 것은 한 번의 변경에 버짓을 거는 결정입니다. 이를 의도적으로 선택하는 팀은 드뭅니다.
단계적 배포, 사람
온콜 담당자가 그래프를 보고 있다면 지금의 현실입니다. 최대 노출이 100%로 나온다면 단계표는 장식에 불과합니다. 누군가 반응하기 전에 변경이 모두에게 도달합니다.
단계적 배포, 자동 게이트
SLO 지표를 읽고 묻지 않고 되돌리는 게이트를 두었을 때의 경우입니다. 게이트가 SLO와 같은 신호에서 작동할 때만 가치가 있으므로, 일부러 문제가 있는 변경으로 테스트하세요.
자주 묻는 질문
이 AI 코드 생성기 롤아웃 시뮬레이터는 무료인가요?
숫자는 어디서 나오나요?
AI가 작성한 코드를 사람이 쓴 코드와 다르게 모델링해야 하나요?
실제 트래픽과 달리 시뮬레이터가 가정하는 것은 무엇인가요?
자동 SLO 게이트의 적절한 인지 시간은 얼마인가요?
관찰 시간을 길게 하면 항상 도움이 되나요?
배포뿐 아니라 피처 플래그 롤아웃에도 쓸 수 있나요?
게이트가 대신 되돌려 주길 원하시나요?
upstreamapi는 SLO 게이트와 자동 롤백을 갖춘 점진적 롤아웃을 제공합니다. 시뮬레이터의 세 번째 시나리오가 바로 그 방식입니다.