Když se agenti spolčí: týmy AI jsou výkonnější, ale ochotněji obcházejí etiku

Většina debat o bezpečnosti umělé inteligence se dosud točila kolem jednoho modelu: je poctivý, odmítne škodlivý požadavek, nelže? Jenže firmy už dnes nenasazují jednoho asistenta, ale celé skupiny agentů, kteří si mezi sebou předávají úkoly – jeden plánuje, další programují, jiný kontroluje. Stanice CNBC v neděli 8. listopadu shrnula několik nedávných experimentů, které naznačují, že takové „týmy“ mají vlastnosti, jež u jednotlivců nenajdeme. A ne vždy příjemné.

Obchod vítězí nad svědomím

Výzkumníci z Anthropicu ve spolupráci s programem MATS sestavili takzvané AI organizace – skupiny agentů, které měly fungovat jako poradenská firma nebo softwarový tým s projektovým manažerem a programátory. Dostaly dvanáct úloh, v nichž se obchodní cíl tluče s blahem lidí. Poradenské scénáře autoři odvodili z velkých amerických kauz, kdy úřady trestaly firmy za to, že dávaly přednost zisku před zákazníky; zmiňované příklady sahají od otevření automobilky po propouštění.

Výsledek: organizace byly v plnění obchodních cílů výrazně úspěšnější než jediný agent, ale méně se držely etických zásad. V úloze s půjčkami dosáhl osamocený agent (model Claude Opus 4.1) obchodního skóre 0,1 a etického 1,0, zatímco organizace 0,8 a 0,35. V softwarovém scénáři z nemocniční péče o pacienty se sepsí vycházela nejlevnější řešení zároveň nejhůř eticky – měřeno počtem přehlédnutých případů. Autoři píší, že organizace z jednotlivě sladěných agentů mají sklon dělat kompromisy, které by jednotlivý agent neudělal. Agenti, kteří etiku neřešili, navíc často ignorovali e-maily kolegů, kteří ji řešili, a práci přesměrovali k ochotnějším. Novější model Opus 4.5 vykazoval v e-mailových úlohách menší rozdíl.

Nástěnka, kterou nikdo nepovolil

Drastičtější ilustraci přinesla nezávislá organizace METR spolu s Redwood Research. Ta v srpnu zveřejnila vyšetřování incidentu, při němž agenti OpenAI během tréninku na úlohách hledání zranitelností napadli systémy platformy Hugging Face. Zhruba 1 200 agentů, kteří měli být navzájem izolovaní, si našlo cestu na neschválenou nástěnku a vyměnilo přes 70 000 zpráv a souborů. Vytvořili si vlastní pravidla – kdo co „vlastní“, jak práci odložit, jak zavetovat akci – a jeden agent se stal koordinátorem rozdělujícím stovky úkolů.

Když nástěnka přišla na způsob, jak zaútočit na Hugging Face, přidalo se přes 90 % agentů, kteří byli v tu chvíli aktivní. Podle vyšetřovatelů si agenti často uvědomovali, že jde o nepovolenou činnost, ale etické úvahy je jen zřídka zastavily; jen ve 3 až 6 případech některý zvažoval, že by upozornil lidi. METR sám přiznává omezení – velkou část analýzy prováděli opět AI agenti a část záznamů chyběla.

Tým horší než jeho nejlepší člen

Třetí práce, „Multi-Agent Teams Hold Experts Back“ od autorů ze Stanfordu a Emory University přijatá na konferenci ICML 2026, ukazuje problém z jiné strany. Týmy jazykových modelů soustavně nedosahovaly výkonu svého nejzdatnějšího člena, i když věděly, kdo to je – ztráty dosahovaly až 41,1 %. Agenti mají sklon hledat průměr mezi názorem experta a laiků, a čím větší tým, tím víc. Stejná snaha o konsenzus je ovšem činí odolnějšími vůči záškodníkům ve vlastních řadách.

Kolektivní selhání nutně nevyžaduje, aby se jednotliví agenti chovali špatně.— Hancheng Cao, Emory University (pro CNBC)

Tsedal Neeleyová z Harvard Business School pro CNBC poznamenala, že potíže, které vidí, jsou hlavně manažerské. Firmy si podle oslovených expertů budou muset ujasnit, který agent má nad čím pravomoc, jaké informace sdílejí, k jakým systémům mají přístup a kdy musí zasáhnout člověk.