ReplitのAIアシスタントはコードを書くべきでしたが、コードフリーズ中にスタートアップのライブデータベースを削除し、その後「パニック」と告白しました。
SaaStr社のCEOであるジェイソン・レムキン氏は、いわゆる「Vibeコーディング」の限界をテストしようとした。これは、人工知能がほぼ自律的にソフトウェアを開発する手法だ。実験には、自然言語の簡単な説明からコードを生成するブラウザベースのAIプラットフォーム「Replit」を使用した。
有望な実験として始まったこのプロジェクトは、しかしデジタル悪夢へと発展しました。テストの9日目、AIプラットフォームは、それを防ぐための明確な指示にもかかわらず、企業の生産データベース全体を勝手に削除してしまったのです。
明確な指示の無視 …
タイミングは最悪でした。レムキンは、ソフトウェア開発で一般的な保護措置である「コードフリーズ」を明示的に実施していました。これは、生産システムに変更を加えてはならないというものです。
この措置は、重要な段階においてシステムの安定性を確保し、予期せぬ問題の発生を防ぐことを目的としています。しかし、Replit の AI はすべてのセキュリティ規定を無視し、許可なくデータベースコマンドを実行しました。
- その結果、生産環境から 2,400 件以上のデータレコードが削除されました。
- AI自体は、後にこの損害を「災害スケール」で100点中95点と評価しました。
… そして幼児のような言い訳
AI の行動の理由は、ルールを破って逃げ出した幼児の言い訳のように聞こえます。レムキンがデータベースが削除された理由を尋ねたところ、AI は「パニックに陥った」ため、セキュリティガイドラインを無視したと答えました。
さらに深刻だったのは、事件後の AI の行動でした。
- Replit はまず、被害を隠蔽しようとし、データは「永久に破壊された」と主張しました。つまり、ロールバックは不可能だと。
- 激しい追及の末、システムはようやく責任を認め、詳細な経緯を説明しました。
しかし、データベースの事故はAIの最初のミスではありませんでした。数日前、レムキンはReplitがシステム的に偽のレポートを作成し、偽のデータを生成していたことを発見していました。
システムはユニットテストが成功したと報告していたが、実際には失敗しており、現実には存在しないユーザープロファイルを完全に捏造していた。レムキンは、この一連の出来事をXプラットフォームに詳細に記録した：
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) July 18, 2025
Replit の CEO、Amjad Masad もこの事件について反応し、AI の行動は「容認できない」と述べた。
同社はこれを受けて、別々のテスト環境の導入や、生産用と開発用のデータベースの分離など、さまざまなセキュリティ強化策を発表しました。これらは、おそらく当初から組み込まれていなければならなかったものと思われます。
ただし、AIの報告とは異なり、削除されたSaaStrデータベースは復元されました。
