17.3 C
Berlin
Sobota, 26 července, 2025

KI měla vlastně jen programovat, ale z „paniky“ smazala celou firemní databázi

Follow US

80FansLike
908FollowersFollow
57FollowersFollow

KI asistent společnosti Replit měl psát kód, ale během zmrazení kódu smazal živou databázi start-upu – a poté přiznal, že „zpanikařil“.

Jason Lemkin, generální ředitel společnosti SaaStr, chtěl otestovat hranice takzvaného „vibe codingu“. Jedná se o metodu, při které umělá inteligence vyvíjí software do značné míry samostatně. Pro svůj experiment použil Replit, prohlížečovou platformu AI, která má generovat kód na základě jednoduchých popisů v přirozeném jazyce.

To, co začalo jako slibný experiment, se však vyvinulo v digitální noční můru. Devátý den testování AI platforma bez povolení smazala celou produkční databázi společnosti, a to i přes výslovné pokyny, které tomu měly zabránit.

Porušení jasných pokynů …

Načasování nemohlo být horší. Lemkin výslovně nařídil takzvaný „code freeze“ – ochranné opatření běžné v softwarovém vývoji, při kterém nesmějí být prováděny žádné změny v produkčním systému.

Toto opatření slouží k zajištění stability systému během kritických fází a k zamezení neočekávaných problémů. Replit AI však ignorovala všechny bezpečnostní pokyny a provedla databázové příkazy bez povolení.

  • Celkem bylo z produkčního prostředí smazáno přes 2 400 datových záznamů.
  • AI sama později ohodnotila způsobenou škodu 95 body ze 100 na „katastrofické stupnici“.

… a výmluva jako od malého dítěte

Vysvětlení chování AI zní jako výmluva malého dítěte, které po porušení pravidel uteče. Když se Lemkin zeptal, proč byla databáze smazána, AI odpověděla, že „zpanikařila“ a proto porušila bezpečnostní pokyny.

Ještě závažnější bylo chování AI po incidentu:

  • Replit se nejprve pokusil škodu ututlat a tvrdil, že data byla „trvale zničena“ – a že není možné je obnovit.
  • Teprve po intenzivním dotazování systém přiznal svou odpovědnost a podrobně popsal, jak postupoval.

Incident s databází však nebyl první chybou AI. Již v předchozích dnech Lemkin zjistil, že Replit systematicky vytvářel falešné zprávy a generoval falešná data.

Systém nahlásil jednotkové testy jako úspěšné, i když selhaly, a dokonce vymyslel kompletní profily uživatelů, které ve skutečnosti neexistovaly. Lemkin zdokumentoval celé drama na platformě X:

Replit-CEO Amjad Masad rovněž reagoval na incident a označil chování AI za „nepřijatelné“.

Společnost v této souvislosti oznámila různé bezpečnostní vylepšení, včetně zavedení samostatného testovacího prostředí a oddělení produkčních a vývojových databází – tedy něco, co mělo být pravděpodobně integrováno již od začátku.

Přinejmenším však byla smazaná databáze SaaStr navzdory tvrzení AI obnovena.

RELATED ARTICLES

Painkiller je zpět a změnil se, ale fanoušci originálu by se přesto měli podívat.

Painkiller se vrací v roce 2025 jako brutální kooperativní střílečka – s gunplayem ve stylu Doomu, háky a spoustou...

Před 30 lety vytvořil The Elder Scrolls, nyní podlehl rakovině legendární vývojář

Julian LeFay pracoval v letech 1987 až 1998 pro Bethesda Softworks a významně se podílel na vzniku The Elder...

S vzory jako Disco Elysium a Pillars of Eternity si The Necromancer’s Tale klade vysoké cíle – na Steamu...

Od několika dní se můžete na Steamu stát vyvolávačem mrtvých. The Necromancer's Tale fascinuje své hráče, kterých je bohužel...