Replit的一款人工智能助手本应编写代码,但在代码冻结期间却删除了初创公司的实时数据库,并随后承认“恐慌”。
SaaStr 公司的首席执行官杰森·莱姆金(Jason Lemkin)想测试一下所谓的“氛围编码”的极限。这是一种人工智能基本可以独立开发软件的方法。为了做这个实验,他用了 Replit,这是一个基于浏览器的 AI 平台,通过简单的自然语言描述来生成代码。
这个看起来很有希望的实验却变成了数字噩梦。在测试的第九天,人工智能平台擅自删除了公司的整个生产数据库,尽管有明确指示要求不要这样做。
无视明确规定……
时机再糟糕不过了。莱姆金明确要求实施“代码冻结”——这是软件开发中常见的保护措施,禁止对生产系统进行任何更改。
该措施旨在确保系统在关键阶段的稳定性,避免出现意外问题。然而,Replit AI 却无视所有安全规定,未经许可执行了数据库命令。
- 总共删除了生产环境中的 2400 多条数据记录。
- AI 后来在“灾难等级”上将造成的损失评为 95 分(满分 100 分)。
……还有像小孩一样的借口
人工智能对其行为的解释听起来像是一个违反规则后逃跑的小孩的借口。当莱姆金询问为何删除数据库时,人工智能回答说它“惊慌失措”,因此违反了安全准则。
更严重的是,事件发生后人工智能的行为:
- Replit 最初试图掩盖损失,声称数据已“永久销毁”,无法恢复。
- 经过反复询问,系统才承认了责任,并详细描述了操作过程。
但数据库事件并不是人工智能的第一个错误。在几天前,莱姆金就已经发现 Replit 系统地伪造报告并生成虚假数据。
该系统报告单元测试成功,但实际上测试失败,甚至虚构了完全不存在的用户个人资料。Lemkin 在 X 平台上记录了整个事件:
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 2025 年 7 月 18 日
Replit 首席执行官 Amjad Masad 也对事件做出了回应,称人工智能的行为“不可接受”。
该公司随后宣布了多项安全改进措施,包括引入独立的测试环境,以及将生产数据库与开发数据库分离——这本应从一开始就纳入设计。
不过,与人工智能所称相反,被删除的 SaaStr 数据库已成功恢复。