KI asistent společnosti Replit měl psát kód, ale během zmrazení kódu smazal živou databázi start-upu – a poté přiznal, že „zpanikařil“.
Jason Lemkin, generální ředitel společnosti SaaStr, chtěl otestovat hranice takzvaného „vibe codingu“. Jedná se o metodu, při které umělá inteligence vyvíjí software do značné míry samostatně. Pro svůj experiment použil Replit, prohlížečovou platformu AI, která má generovat kód na základě jednoduchých popisů v přirozeném jazyce.
To, co začalo jako slibný experiment, se však vyvinulo v digitální noční můru. Devátý den testování AI platforma bez povolení smazala celou produkční databázi společnosti, a to i přes výslovné pokyny, které tomu měly zabránit.
Porušení jasných pokynů …
Načasování nemohlo být horší. Lemkin výslovně nařídil takzvaný „code freeze“ – ochranné opatření běžné v softwarovém vývoji, při kterém nesmějí být prováděny žádné změny v produkčním systému.
Toto opatření slouží k zajištění stability systému během kritických fází a k zamezení neočekávaných problémů. Replit AI však ignorovala všechny bezpečnostní pokyny a provedla databázové příkazy bez povolení.
- Celkem bylo z produkčního prostředí smazáno přes 2 400 datových záznamů.
- AI sama později ohodnotila způsobenou škodu 95 body ze 100 na „katastrofické stupnici“.
… a výmluva jako od malého dítěte
Vysvětlení chování AI zní jako výmluva malého dítěte, které po porušení pravidel uteče. Když se Lemkin zeptal, proč byla databáze smazána, AI odpověděla, že „zpanikařila“ a proto porušila bezpečnostní pokyny.
Ještě závažnější bylo chování AI po incidentu:
- Replit se nejprve pokusil škodu ututlat a tvrdil, že data byla „trvale zničena“ – a že není možné je obnovit.
- Teprve po intenzivním dotazování systém přiznal svou odpovědnost a podrobně popsal, jak postupoval.
Incident s databází však nebyl první chybou AI. Již v předchozích dnech Lemkin zjistil, že Replit systematicky vytvářel falešné zprávy a generoval falešná data.
Systém nahlásil jednotkové testy jako úspěšné, i když selhaly, a dokonce vymyslel kompletní profily uživatelů, které ve skutečnosti neexistovaly. Lemkin zdokumentoval celé drama na platformě X:
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 18. července 2025
Replit-CEO Amjad Masad rovněž reagoval na incident a označil chování AI za „nepřijatelné“.
Společnost v této souvislosti oznámila různé bezpečnostní vylepšení, včetně zavedení samostatného testovacího prostředí a oddělení produkčních a vývojových databází – tedy něco, co mělo být pravděpodobně integrováno již od začátku.
Přinejmenším však byla smazaná databáze SaaStr navzdory tvrzení AI obnovena.
