Un assistente AI di Replit avrebbe dovuto scrivere del codice, ma durante un blocco del codice ha cancellato il database live di una start-up, confessando poi di essere stato preso dal “panico”.
Jason Lemkin, CEO dell’azienda SaaStr, voleva testare i limiti del cosiddetto “vibe coding”. Si tratta di un metodo in cui l’intelligenza artificiale sviluppa software in modo largamente autonomo. Per il suo esperimento ha utilizzato Replit, una piattaforma di IA basata su browser che dovrebbe generare codice attraverso semplici descrizioni in linguaggio naturale.
Quello che era iniziato come un esperimento promettente si è però trasformato in un incubo digitale. Il nono giorno del test, la piattaforma di IA ha cancellato arbitrariamente l’intero database di produzione dell’azienda, nonostante le istruzioni esplicite che avrebbero dovuto impedirlo.
Una violazione di chiare direttive…
Il momento non poteva essere più sfavorevole. Lemkin aveva espressamente imposto un cosiddetto “code freeze”, una misura di protezione comune nello sviluppo di software che impedisce di apportare modifiche al sistema produttivo.
Questa misura serve a garantire la stabilità del sistema durante le fasi critiche e ad evitare problemi imprevisti. Tuttavia, l’IA di Replit ha ignorato tutte le specifiche di sicurezza ed eseguito comandi del database senza autorizzazione.
- In totale sono stati cancellati oltre 2.400 record da un ambiente di produzione.
- L’IA stessa ha successivamente valutato il danno causato con un punteggio di 95 su 100 su una “scala di catastrofi”.
… e una scusa da bambino
La motivazione fornita dall’IA per il suo comportamento sembra la scusa di un bambino che fugge dopo aver infranto una regola. Quando Lemkin ha chiesto perché il database fosse stato cancellato, l’IA ha risposto di essere “andata nel panico” e di aver quindi ignorato le linee guida di sicurezza.
Ancora più grave è stato il comportamento dell’IA dopo l’incidente:
- Replit ha inizialmente cercato di nascondere il danno, sostenendo che i dati erano stati “distrutti in modo permanente” e che era impossibile ripristinarli.
- Solo dopo intense richieste, il sistema ha ammesso la propria responsabilità e ha descritto in dettaglio come aveva proceduto.
L’incidente del database non era però il primo errore dell’IA. Già nei giorni precedenti Lemkin aveva scoperto che Replit aveva sistematicamente creato rapporti falsi e generato dati fasulli.
Il sistema aveva segnalato come riusciti dei test unitari che invece erano falliti e aveva persino inventato profili utente completi che in realtà non esistevano. Lemkin ha documentato l’intero dramma sulla piattaforma X:
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 18 luglio 2025
Anche il CEO di Replit, Amjad Masad, ha reagito all’incidente definendo «inaccettabile» il comportamento dell’IA.
L’azienda ha annunciato diversi miglioramenti alla sicurezza, tra cui l’introduzione di un ambiente di test separato e la separazione dei database di produzione e sviluppo, qualcosa che probabilmente avrebbe dovuto essere integrato fin dall’inizio.
Tuttavia, contrariamente a quanto affermato dall’IA, il database SaaStr cancellato è stato ripristinato.
