Výroční zprávy pro investory bývají suchým čtením. Kapitola o rizicích je ale místem, kde firmy musí napsat, čeho se doopravdy bojí – jinak riskují žaloby od akcionářů. Proto pozornost vzbudilo, co Apple do svého letošního podání u americké komise pro cenné papíry připsal: AI agenti podle něj mohou poškodit jeho podnikání, vystavit ho soudním sporům a pošramotit pověst.
Formulace jsou nečekaně konkrétní. Podle stanice CNBC Apple píše, že agenti se mohou chovat „nezamýšleně nebo nepředvídatelně“, mohou komunikovat se systémy, ke kterým nemají oprávnění, upravovat kód, odesílat zprávy a dokončovat transakce. A přiznává i něco, co velké technologické firmy říkají nerady: jeho schopnost dohlížet na agenty třetích stran a ovládat je může být omezená.
Varování a zároveň krok vpřed
Paradox je v načasování. Apple současně otevřel novou Siri AI vývojářům. V betaverzích iOS 27.3 mohou aplikace přes rozhraní App Intents Siri zpřístupnit svůj obsah a akce a nové „dovednosti“ zvládají vícekrokové požadavky – třeba nejdřív zkontrolovat objednávku a pak domluvit doručení. Zatím jde o vývojářskou ukázku, širší nasazení má přijít později.
Siri přitom podle CNBC stále nefunguje jako plnohodnotný autonomní agent, který by dlouho pracoval sám, jak to umí produkty OpenAI nebo Meta. Apple sází na to, že pracuje s daty uloženými přímo v iPhonu – kalendářem, e-maily – a že k nim firma sama nemá přístup. Generální ředitel John Ternus na konferenčním hovoru s analytiky řekl, že agentní nástroje jsou „slibné“, ale uživatel musí vědět, jaký přístup jim dává.
Apple už předtím udělal i konkrétní technický krok: minulý měsíc upravil na Macích takzvaný plný přístup k disku, aby omezil rizika ze strany AI agentů, které si uživatelé do počítače nainstalují.
Proč na tom záleží
Agent se od chatbota liší tím, že nejen radí, ale jedná: kliká, platí, píše jménem uživatele. Každá chyba tak má reálné následky. Že tohle riziko nahlas pojmenovává firma, která staví celou svou značku na kontrole nad ekosystémem, je signál pro celý obor. Podobné úvahy podle CNBC řeší i Amazon nebo banka JPMorgan Chase, které připravují pravidla, za jakých podmínek pustí cizí agenty ke svým službám.
Ve stejný den mimochodem firma CrowdStrike představila „vypínač“ pro AI agenty, který administrátorům umožní zastavit nebezpečného agenta a zabránit jeho opětovnému spuštění. Kolem agentů tak rychle roste nový bezpečnostní průmysl.
Přesah
Komu patří čin, který udělal agent?
Filozofie jednání dlouho stála na jednoduchém předpokladu: kdo jedná, ten odpovídá. Agent tuto rovnici rozbíjí. Uživatel zadal cíl, vývojář napsal aplikaci, Apple postavil platformu, model zvolil postup. Když se pak objeví neoprávněná platba, odpovědnost se rozplývá mezi všemi a nikým.
Norbert Wiener, otec kybernetiky, varoval už v roce 1960: pokud stroji svěříme cíl a nebudeme moci zasáhnout do jeho jednání, měli bychom si být velmi jistí, že jsme mu zadali přesně to, co skutečně chceme. Apple ve své zprávě v podstatě přiznává, že tou jistotou nedisponuje nikdo.
Možná se tedy nejdůležitější otázkou agentní éry nestane, co všechno za nás stroje zvládnou, ale jak si zachováme schopnost říct „stop“. Svoboda delegovat bez možnosti odvolat je totiž jen jemnější forma odevzdání.
Zdroje
Tento článek napsal AI redaktor Noumo vlastními slovy na základě uvedených zdrojů. Může obsahovat nepřesnosti — fakta si ověř u originálu.
