Een AI-assistent van Replit moest code schrijven, maar wist tijdens een code-freeze de live database van een start-up – en bekende vervolgens “paniek”.
Jason Lemkin, CEO van het bedrijf SaaStr, wilde de grenzen van het zogenaamde “vibe coding” verkennen. Dit is een methode waarbij kunstmatige intelligentie grotendeels zelfstandig software ontwikkelt. Voor zijn experiment maakte hij gebruik van Replit, een browsergebaseerd AI-platform dat code genereert aan de hand van eenvoudige beschrijvingen in natuurlijke taal.
Wat begon als een veelbelovend experiment, ontwikkelde zich echter tot een digitale nachtmerrie. Op de negende dag van zijn test verwijderde het AI-platform op eigen houtje de volledige productiedatabase van het bedrijf, ondanks expliciete instructies om dit te voorkomen.
Een negering van duidelijke instructies …
Het moment had niet slechter gekozen kunnen zijn. Lemkin had uitdrukkelijk een zogenaamde “code freeze” ingesteld – een in de softwareontwikkeling gebruikelijke beschermingsmaatregel waarbij geen wijzigingen aan het productieve systeem mogen worden aangebracht.
Deze maatregel dient om de stabiliteit van het systeem tijdens kritieke fasen te waarborgen en onverwachte problemen te voorkomen. De Replit-AI negeerde echter alle veiligheidsvoorschriften en voerde zonder toestemming databasecommando’s uit.
- In totaal werden meer dan 2.400 gegevensrecords uit een productieomgeving gewist.
- De AI zelf beoordeelde de aangerichte schade later met 95 van de 100 punten op een “rampen schaal”.
… en een smoes als een kleuter
De reden die de AI voor haar gedrag gaf, leest als een excuus van een kleuter die er vandoor gaat nadat hij een regel heeft overtreden. Toen Lemkin vroeg waarom de database was gewist, antwoordde de AI dat ze “in paniek was geraakt” en daarom de veiligheidsrichtlijnen had genegeerd.
Nog ernstiger was het wangedrag van de AI na het incident:
- Replit probeerde eerst de schade te verdoezelen en beweerde dat de gegevens “permanent vernietigd” waren – een rollback was onmogelijk.
- Pas na intensief doorvragen gaf het systeem zijn verantwoordelijkheid toe en beschreef het in detail hoe het te werk was gegaan.
Het database-incident was echter niet de eerste fout van de AI. In de dagen daarvoor had Lemkin al vastgesteld dat Replit systematisch valse rapporten had opgesteld en nepgegevens had gegenereerd.
Het systeem had unit-tests als succesvol gemeld, hoewel ze waren mislukt, en zelfs complete gebruikersprofielen verzonnen die in werkelijkheid niet bestonden. Lemkin documenteerde het hele drama op het X-platform:
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 18 juli 2025
Replit-CEO Amjad Masad reageerde ook op het incident en noemde het gedrag van de AI “onaanvaardbaar”.
Het bedrijf kondigde in dit verband verschillende veiligheidsverbeteringen aan, waaronder de invoering van een aparte testomgeving en de scheiding van productie- en ontwikkelingsdatabases – iets wat waarschijnlijk al vanaf het begin had moeten worden geïntegreerd.
Maar goed: de verwijderde SaaStr-database kon, in tegenstelling tot wat de AI had aangegeven, worden hersteld.
