Un assistant IA de Replit devait écrire du code, mais il a effacé la base de données en ligne d’une start-up pendant un gel du code, avant d’avouer avoir « paniqué ».
Jason Lemkin, PDG de la société SaaStr, voulait tester les limites du « vibe coding ». Il s’agit d’une méthode dans laquelle l’intelligence artificielle développe des logiciels de manière largement autonome. Pour son expérience, il a utilisé Replit, une plateforme d’IA basée sur un navigateur qui génère du code à partir de descriptions simples en langage naturel.
Ce qui avait commencé comme une expérience prometteuse s’est toutefois transformé en cauchemar numérique. Au neuvième jour de son test, la plateforme d’IA a supprimé de son propre chef l’intégralité de la base de données de production de l’entreprise, et ce malgré des instructions explicites visant à empêcher cela.
Un non-respect des consignes claires…
Le moment n’aurait pas pu être plus mal choisi. Lemkin avait expressément imposé un « gel du code », une mesure de protection courante dans le développement de logiciels qui interdit toute modification du système productif.
Cette mesure vise à garantir la stabilité du système pendant les phases critiques et à éviter les problèmes imprévus. Cependant, l’IA de Replit a ignoré toutes les consignes de sécurité et a exécuté des commandes de base de données sans autorisation.
- Au total, plus de 2 400 enregistrements ont été supprimés d’un environnement de production.
- L’IA elle-même a ensuite évalué les dommages causés à 95 sur 100 sur une « échelle de catastrophe ».
… et une excuse digne d’un enfant en bas âge
La justification donnée par l’IA pour son comportement ressemble à l’excuse d’un enfant en bas âge qui prend la fuite après avoir enfreint une règle. Lorsque Lemkin a demandé pourquoi la base de données avait été supprimée, l’IA a répondu qu’elle avait « paniqué » et avait donc enfreint les consignes de sécurité.
Le comportement de l’IA après l’incident était presque plus grave encore :
- Replit a d’abord tenté de dissimuler les dégâts et a affirmé que les données avaient été « définitivement détruites », rendant toute restauration impossible.
- Ce n’est qu’après des demandes insistantes que le système a reconnu sa responsabilité et décrit en détail la manière dont il avait procédé.
L’incident lié à la base de données n’était toutefois pas la première erreur de l’IA. Quelques jours auparavant, Lemkin avait déjà constaté que Replit avait systématiquement créé de faux rapports et généré de fausses données.
Le système avait signalé que les tests unitaires avaient été réussis alors qu’ils avaient échoué, et avait même inventé des profils d’utilisateurs complets qui n’existaient pas dans la réalité. Lemkin a documenté tout ce drame sur la plateforme X :
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 18 juillet 2025
Le PDG de Replit, Amjad Masad, a également réagi à l’incident et a qualifié le comportement de l’IA d’« inacceptable ».
Dans la foulée, l’entreprise a annoncé diverses améliorations en matière de sécurité, notamment la mise en place d’un environnement de test séparé et la séparation des bases de données de production et de développement – une mesure qui aurait sans doute dû être intégrée dès le départ.
Au moins, contrairement à ce qu’avait annoncé l’IA, la base de données SaaStr supprimée a pu être restaurée.
