Summary
Denna simulator för AI kodgenerator utrullning visar hur stor del av din 30-dagars felbudget en felaktig AI-skriven ändring bränner innan den rullas tillbaka. Ange trafik, SLO, utrullningsstege, soak-tid och upptäcktshastighet. Den jämför en enkel deploy till 100%, en stegvis utrullning som övervakas av en människa och en automatisk SLO-gate, med enkel aritmetik som du kan kontrollera för hand.
AI kodgenerator utrullning simulator: se hur långt en felaktig ändring hinner spridas före rollback
Klistra in din trafik, SLO och utrullningsstege. Verktyget visar hur mycket felbudget en felaktig ändring från en AI kodgenerator bränner vid en enkel deploy, vid en människa som tittar på en dashboard och vid en automatisk gate.
Tre rader aritmetik, ingen dold modell
Felbudget
Budget = (1 minus SLO) gånger genomsnittligt antal anrop per sekund gånger 2,592,000 sekunder under 30 dagar. Vid 200 anrop/s och 99.9% är det 518,400 misslyckade anrop du har råd med per månad.
Exponering över tid
Stegen ger andelen trafik på den nya koden för varje minut. Simulatorn integrerar den andelen från första anropet till din upptäcktstid plus återställningstid, så en långsam upptäckt skjuter den felaktiga ändringen in i senare, större steg.
Misslyckade anrop
Misslyckade anrop = anrop per sekund gånger andel fel gånger exponeringsintegralen. Delar du med budgeten får du hur stor del av månaden en felaktig ändring kostar. Tre upptäcktslägen jämförs på samma stege.
Från en AI-genererad diff till en utrullningsplan
-
1
Välj pessimistiska värden
För en ändring som skrivits av en AI kodgenerator och granskats snabbt: anta en hög andel fel om den är fel, och en mänsklig upptäcktstid som motsvarar din långsammaste incident de senaste månaderna, inte den bästa.
-
2
Jämför de tre scenarierna
Enkel deploy visar värsta fallet. Det stegvisa fallet med människa visar vad din stege ger dig idag. Den automatiska gaten visar vad en gate på din SLO-mätning skulle ändra.
-
3
Kopiera planen till runbooken
Kopieringsknappen exporterar stegen och värsta fallets felbudgetbrännskada som ren text, redo att klistras in i en ändringsbiljett eller i en pull request-beskrivning.
Det första steget är där det mesta av budgeten sparas
En ändring som misslyckas för 20% av anropen vid 1% trafik ger fel på 0.2% av alla anrop. Samma ändring vid 100% misslyckas med ett av fem anrop. Skillnaden mellan de två talen är hela argumentet för en progressiv utrullning. När koden kommer från en generator som kan producera hundratals rader på några sekunder sjunker granskningstiden per rad, och då blir det första steget platsen där du får veta.
- Ett första steg på 1% begränsar skaderadien med 99% innan något annat mäts.
- Soak-tid hjälper bara om din signal kan visa en regression inom det fönstret.
- Att återställa snabbare är lika värdefullt som att upptäcka snabbare: båda ökar exponeringsintegralen.
Vad du gör med de tre talen
Enkel deploy
Om det här talet ligger över 5% av månadens budget för ett troligt fel är en engångsdeploy ett beslut att spendera budgeten på en enda ändring. Få team gör det valet med avsikt.
Stegvis, människa
Så här ser verkligheten ut när någon tittar på graferna. Om topp-exponeringen visar 100% är din stege kosmetisk: den felaktiga ändringen når alla innan någon reagerar.
Stegvis, automatisk gate
Det här är argumentet för en gate som läser din SLO-mätning och återställer utan att fråga. Värdet är bara verkligt om gaten slår på samma signal som din SLO använder, så testa den med en medvetet felaktig ändring.
Vanliga frågor
Är den här simulatorn för AI kodgenerator utrullning gratis?
Var kommer siffrorna ifrån?
Varför modellera AI-genererad kod annorlunda än kod som skrivs av människor?
Vad antar simulatorn som verklig trafik inte gör?
Vad är en bra tid till upptäckt för en automatisk SLO-gate?
Hjälper en längre soak-tid alltid?
Kan jag använda det här för utrullningar av feature flags och inte bara deploys?
Vill du att gaten sköter återställningen åt dig?
upstreamapi kör progressiva utrullningar med SLO-gates och automatisk rollback, så den tredje kolumnen är den du levererar med.