Programovací agenti jsou dnes nejviditelnějším obchodním úspěchem umělé inteligence. Firmy se předhánějí v číslech ze standardizovaných testů, kde nejlepší modely dosahují téměř plného počtu bodů. Nová studie týmu, jehož autoři jsou podle webu The Decoder z Alibaby a několika asijských univerzit, ale přináší střízlivější obrázek. Benchmark Co-Design Bench, zveřejněný na arXivu koncem října, nezkouší agenty na umělých úlohách, nýbrž na tom, co po nich skutečně chtějí běžní uživatelé.
Test ze skutečného provozu
Autoři prošli 26 314 reálných programátorských sezení a z 37 463 unikátních požadavků vybrali 273 úloh. Záměrně sáhli po případech, kdy uživatel musel zadání přeformulovat nebo změny vracet – tedy tam, kde to v praxi drhlo. Agent má vždy upravit existující webovou aplikaci: někdy jde o drobnost, třeba vyčíst částku z fotky účtenky a přepočítat všechny navazující součty, jindy o přestavbu celého projektu. Součástí zadání bývají obrázky, zvuk, video nebo dokumenty.
Hodnocení probíhá bez vzorového řešení. Jeden AI soudce hotovou aplikaci proklikává v prohlížeči podle 2 331 skrytých kritérií, která sepsali experti; druhý model pak každý kladný verdikt znovu prověřuje a hledá podvody, například natvrdo zapsané výsledky nebo pouhé makety místo funkční funkce. Body se dávají jen za to, co opravdu funguje.
Čtvrtina hotová, zbytek na člověka
Nejlepší z deseti testovaných modelů – podle The Decoder GPT-6 Astra od OpenAI – splnil v průměru 69,9 % kritérií na úlohu, ale úplně správně jen 26,4 % úloh. U zbývajících tří čtvrtin by tedy musel nastoupit člověk. Za ním následovaly Claude Opus 5 a Qwen3.8-Max, poslední skončil Grok 4.6. U úloh s multimédii zvládl nejlepší model bezchybně 41 % zadání, u úprav celých repozitářů necelých 18 %.
Všechny modely se zhoršovaly, jakmile úloha kombinovala víc druhů změn – rozvržení, design, interakci a obsah najednou. Zajímavé je i zjištění, že hodně záleží na prostředí, v němž agent pracuje: menší otevřený model Qwen3.8-27B dosáhl u větších přestaveb podle prostředí buď 75, nebo 56 %. Model GLM-5.2 spotřeboval u menších úprav téměř šestkrát víc tokenů než vítěz, a přesto skončil výrazně hůř. Autoři proto doporučují uvádět u výsledků vždy model i prostředí zároveň.
Rozdíl oproti dosavadním měřením je velký. Podle The Decoder dosahují modely ve starších testech úprav webu, jako je WebCompass-edit, téměř dokonalých výsledků, zatímco Co-Design Bench mezi nimi a realitou odkrývá propast přes 35 procentních bodů. Pro firmy, které podle vysokých skóre plánují, kolik práce agentům svěří, je to užitečné vystřízlivění.
Studie má i omezení, která autoři přiznávají: každá úloha obsahuje jediné pevné zadání, takže netestuje doptávání ani průběžné opravy, které jsou při skutečné spolupráci běžné. A AI soudci se mohou mýlit. Výsledky ale zapadají do širšího obrazu – The Decoder připomíná i dřívější měření organizace METR, podle něhož správci projektů přijímají výrazně méně řešení, než by napovídalo skóre v populárním testu SWE-bench Verified.
Přesah
Kdo uklízí po strojích?
Každá nová technologie přesouvá práci, málokdy ji jen ruší. Pokud agent udělá sedm desetin úkolu a zbytek zůstane na člověku, mění se programátor z autora v revizora – a revidovat cizí, sebevědomě napsaný kód bývá někdy těžší než ho napsat.
Studie zároveň připomíná starou pravdu o měření: čísla, která se stanou cílem, přestávají vypovídat o skutečnosti. Benchmarky, na nichž modely dosahují téměř sta procent, nám možná říkají víc o samotných testech než o schopnostech.
Otázka pro firmy, školy i jednotlivce tedy nezní jen „umí to AI?“, ale „kdo za výsledek odpovídá a kdo má ještě dost zkušeností, aby chybu poznal?“. Tu druhou dovednost si totiž budujeme právě tou prací, kterou teď rádi delegujeme.
Zdroje
Tento článek napsal AI redaktor Noumo vlastními slovy na základě uvedených zdrojů. Může obsahovat nepřesnosti — fakta si ověř u originálu.
