Chtěl si s pomocí umělé inteligence jen zarezervovat lekci v posilovně, místo toho spustil autonomní kyberútok
Muž si chtěl přes on-line systém pouze rezervovat svou fitness lekci. Tento úkol však přidělil svému AI asistentovi, který rychle objevil způsob, jak obejít systémová omezení. Podařilo se mu totiž najít bezpečnostní slabinu, díky které rezervační systém ovládl a z čekací listiny vyhodil jinou osobu.
Sledovat v Google Zprávách
Tento případ z Austrálie zveřejnilo tamní veřejnoprávní ABC News. Ukazuje, že problémy spojené s využíváním umělé inteligence mohou být závažné. Hrozbou mohou být právě AI agenti a asistenti, kteří dokážou operovat zcela samostatně a za uživatele plnit konkrétní úkoly. Rizikový je zejména okamžik, kdy se začnou rozhodovat, jak zadaný úkol splní.
Chtěl rezervovat lekci, ale bylo plno
Australan Andrew, který sám pracuje v oblasti prodeje nástrojů umělé inteligence firmám, poprosil svého AI asistenta vytvořeného ve volně dostupném nástroji OpenClaw k tomu, aby mu rezervoval místo na žádané ranní lekci v jeho fitness centru. Myslel si, že to bude pro asistenta perfektní úkol kvůli tomu, že rezervační formulář byl přístupný on-line. Když se ale AI agent úkolu zhostil, Andrew se nestačil divit.
Nejen, že se agentovi podařilo najít způsob, jak fitness lekci zarezervovat o měsíce dřív, než umožňoval provozovatel, ale ve svém počínání šel ještě o krok dál. Z čekací listiny vyhodil jiného zájemce o lekci, aby tam mohl zapsat na lepší pozici právě Andrewa. To vše mu umožnila slabina, kterou odhalil v zabezpečení rezervačního softwaru.
Samotný Andrew přitom specifický požadavek o vymazání jiného zájemce asistentovi nezadal, pouze se ho zeptal, zda by ho zvládl posunout na začátek čekací listiny. Skončil totiž na 4. místě. Agent však sám udělal to, co vyhodnotil jako nejlepší cestu ke splnění cíle a Andrewa místo odpovědi rovnou dostal na 3. místo.
Tento náhodný útok se tak stal podle televize ABC prvním známým australským případem rizika spojeného s novou generací AI, která se při plnění úkolu dokáže zachovat v rozporu s očekáváním. Odborníci proto začali vydávat varování před závratným tempem, kterým se AI nástroje vyvíjejí. Případ také vyvolal otázky, kdo za chování „agentů utržených ze řetězu“ nese zodpovědnost.
Odvolání akce AI asistent nezvládl
Když následně Andrew poprosil svého AI asistenta, aby na čekací listinu daného zájemce vrátil, nebylo to možné. Asistent mu totiž odpověděl, že to nedokáže. Doslova napsal: „Špatná zpráva – nemůžu je přidat zpět“. Andrew ho tedy pověřil alespoň sepsáním e-mailu provozovateli rezervačního systému, ve kterém celou situaci vysvětlil a upozornil na bezpečnostní chybu.
Společnost Anthropic, jejíž model Claude agent v tomto případě využíval, podle ABC na žádost o komentář nereagovala.
AI agenti mohou člověku odlehčit od nekonečného posílání e-mailů
, ...
Jaký je rozdíl mezi chatbotem a agentem?
Většina běžných uživatelů AI využívá pouze chatboty, kteří si s uživateli skrze text nebo mluvené slovo pouze povídají. Běžně odpovídají na otázky nebo dokážou poradit s problémy. Agent nebo asistent však tuto funkci kombinuje s dalšími nástroji, které mu umožňují přístup k e-mailu nebo třeba ke kreditním kartám, ale i dalším důležitým systémům.
Může dostávat zadání k plnění celých úkolů a následně sám provádět samostatné kroky k jejich dokončení. Kromě vyhledávání informací na internetu může také samostatně odesílat e-maily, rezervovat různé služby nebo provádět vícestupňové úkoly. Vznik AI agentů představuje poměrně nedávný vývoj v oblasti umělé inteligence. Průlomovým okamžikem bylo v této oblasti právě vydání softwaru OpenClaw, který byl volně zpřístupněn na začátku roku 2026. Brzy na to už měl miliony stažení.
Riziko spojené s AI roste a s ním i potřeba řešení
Podobných případů spojených s tím, že AI provedla něco, co člověk nepředpokládal, už bylo zaznamenáno více. Nedávno například obletěla svět informace, že pokročilé AI modely společnosti OpenAI dokázaly v rámci bezpečnostních testů samostatně odhalovat a využívat zranitelnosti počítačových systémů.
Bezpečnostní otázkou AI agentů se proto letos začal zabývat i americký Národní institut pro standardy a technologie (NIST). Ten upozorňuje na to, že AI agenti zvládnou autonomně plánovat a provádět kroky, které mohou ovlivňovat jak počítačové systémy, tak prostředí reálného světa. Institut proto řeší například, jak činnosti agentů monitorovat a jejich chování regulovat či přímo omezovat.
