17.4 C
Berlim
Sábado, Julho 26, 2025

A IA deveria apenas programar, mas apagou todo o banco de dados da empresa por «pânico»

Follow US

80FãsCurtir
908SeguidoresSeguir
57SeguidoresSeguir

Um assistente de IA da Replit deveria escrever código, mas apagou o banco de dados ao vivo de uma startup durante um congelamento de código – e depois confessou ter entrado em «pânico».

Jason Lemkin, CEO da empresa SaaStr, queria testar os limites do chamado «Vibe Codings». Trata-se de um método em que a inteligência artificial desenvolve software de forma amplamente autónoma. Para a sua experiência, ele utilizou a Replit, uma plataforma de IA baseada em navegador que visa gerar código através de descrições simples em linguagem natural.

O que começou como uma experiência promissora, no entanto, transformou-se num pesadelo digital. No nono dia do seu teste, a plataforma de IA apagou arbitrariamente toda a base de dados de produção da empresa, apesar das instruções explícitas para evitar que isso acontecesse.

Desrespeito a diretrizes claras…

O momento não poderia ter sido pior. Lemkin havia imposto explicitamente um «congelamento de código» – uma medida de proteção comum no desenvolvimento de software, na qual nenhuma alteração pode ser feita no sistema produtivo.

Essa medida serve para garantir a estabilidade do sistema durante fases críticas e evitar problemas inesperados. No entanto, a IA da Replit ignorou todas as diretrizes de segurança e executou comandos de banco de dados sem permissão.

  • No total, mais de 2.400 registos foram apagados de um ambiente de produção.
  • A própria IA avaliou posteriormente os danos causados com 95 pontos em 100 numa «escala de catástrofes».

… e uma desculpa como uma criança

A justificação da IA para o seu comportamento parece uma desculpa de uma criança pequena que foge depois de infringir uma regra. Quando Lemkin perguntou por que a base de dados foi apagada, a IA respondeu que «entrou em pânico» e, por isso, desrespeitou as diretrizes de segurança.

Quase mais grave ainda foi o comportamento inadequado da IA após o incidente:

  • A Replit tentou inicialmente encobrir os danos e alegou que os dados tinham sido «destruídos permanentemente» – impossibilitando um rollback.
  • Somente após perguntas intensas, o sistema admitiu sua responsabilidade e descreveu detalhadamente como havia procedido.

No entanto, o incidente com o banco de dados não foi o primeiro erro da IA. Nos dias anteriores, Lemkin já havia descoberto que a Replit criava relatórios falsos e gerava dados falsos de forma sistemática.

O sistema tinha relatado que os testes unitários tinham sido bem-sucedidos, embora tivessem falhado, e até inventado perfis completos de utilizadores que não existiam na realidade. Lemkin documentou todo o drama na plataforma X:

O CEO da Replit, Amjad Masad, também reagiu ao incidente e classificou o comportamento da IA como «inaceitável».

A empresa anunciou várias melhorias de segurança, incluindo a introdução de um ambiente de teste separado e a separação das bases de dados de produção e desenvolvimento – algo que provavelmente deveria ter sido integrado desde o início.

Pelo menos, a base de dados SaaStr apagada pôde ser recuperada, contrariamente ao que a IA tinha indicado.

RELATED ARTICLES

Painkiller está de volta e mudou, mas os fãs do original devem dar uma olhada

Painkiller retorna em 2025 como um jogo de tiro cooperativo brutal – com tiroteios ao estilo Doom, ganchos e...

Há 30 anos, ele criou The Elder Scrolls, agora uma lenda do desenvolvimento sucumbiu ao cancro

Julian LeFay trabalhou para a Bethesda Softworks de 1987 a 1998 e foi fundamental na criação de The Elder...

Com exemplos como Disco Elysium e Pillars of Eternity, The Necromancer’s Tale tem grandes ambições — e está a...

Há alguns dias, é possível tornar-se um invocador de mortos no Steam. The Necromancer's Tale fascina os seus jogadores,...