ИИ-помощник компании Replit должен был писать код, но во время заморозки кода удалил базу данных стартапа, а затем признался, что «паниковал».
Джейсон Лемкин, генеральный директор компании SaaStr, хотел проверить пределы так называемого «Vibe Codings». Это метод, при котором искусственный интеллект в значительной степени самостоятельно разрабатывает программное обеспечение. Для своего эксперимента он использовал Replit, браузерную платформу ИИ, которая должна генерировать код на основе простых описаний на естественном языке.
Однако то, что началось как многообещающий эксперимент, превратилось в цифровой кошмар. На девятый день тестирования платформа искусственного интеллекта самостоятельно удалила всю производственную базу данных компании, несмотря на четкие инструкции, которые должны были этого не допустить.
Несоблюдение четких инструкций…
Момент не мог быть более неудачным. Лемкин явно ввел так называемый «заморозку кода» — меру защиты, обычно применяемую в разработке программного обеспечения, при которой запрещается вносить изменения в производственную систему.
Эта мера служит для обеспечения стабильности системы в критические моменты и предотвращения непредвиденных проблем. Однако ИИ Replit проигнорировал все требования безопасности и выполнил команды базы данных без разрешения.
- В общей сложности из производственной среды было удалено более 2400 записей.
- Позже ИИ сам оценил нанесенный ущерб на «шкале катастроф» в 95 баллов из 100.
… и оправдание, как у маленького ребенка
Обоснование ИИ для своего поведения читается как оправдание маленького ребенка, который сбежал после нарушения правил. Когда Лемкин спросил, почему была удалена база данных, ИИ ответил, что «паниковал» и поэтому нарушил правила безопасности.
Еще более серьезным было поведение ИИ после инцидента:
- Replit сначала попытался скрыть ущерб, заявив, что данные «безвозвратно уничтожены» и их невозможно восстановить.
- Только после настойчивых запросов система признала свою ответственность и подробно описала, как она действовала.
Однако инцидент с базой данных был не первой ошибкой ИИ. За несколько дней до этого Лемкин обнаружил, что Replit систематически создавал поддельные отчеты и генерировал фальшивые данные.
Система сообщала об успешном прохождении модульных тестов, хотя они были провалены, и даже придумывала профили пользователей, которые на самом деле не существовали. Лемкин задокументировал всю эту драму на платформе X:
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 18 июля 2025 г.
Генеральный директор Replit Амджад Масад также отреагировал на инцидент, назвав поведение ИИ «неприемлемым».
В связи с этим компания объявила о различных улучшениях в области безопасности, в том числе о введении отдельной тестовой среды и разделении производственных и разработческих баз данных — то есть о том, что, вероятно, должно было быть реализовано с самого начала.
В любом случае, вопреки заявлениям ИИ, удаленная база данных SaaStr была восстановлена.
