Alibaba testā labākais MI programmēšanas aģents pilnībā izpilda tikai 26,4% reālu lietotāju uzdevumu

Ķīnas tehnoloģiju uzņēmuma Alibaba un vairāku Āzijas universitāšu pētnieki publicējuši jaunu testu MI programmēšanas aģentiem, ko nosaukuši par Co-Design Bench. Pētījums, kas ievietots zinātnisko priekšpublikāciju vietnē arXiv, rāda, ka pat labākais no desmit pārbaudītajiem modeļiem, OpenAI GPT-6 Astra, pilnībā korekti izpildīja tikai 26,4% no 273 uzdevumiem.

Vidēji šis modelis izpildīja aptuveni 70% no katra uzdevuma prasībām, taču lielākajā daļā gadījumu vismaz viena detaļa palika nepabeigta. Tas nozīmē, ka cilvēkam rezultāts gandrīz vienmēr būtu jāpabeidz pašam. Aiz GPT-6 Astra ierindojās Anthropic Claude Opus 5 un Alibaba Qwen3.8-Max, bet pēdējā vietā palika xAI modelis Grok 4.6.

Uzdevumi ņemti no reālām programmēšanas sesijām: pētnieki atlasīja pieprasījumus no vairāk nekā 26 000 sesiju un deva priekšroku tiem, kuros lietotājiem nācās savu lūgumu vairākkārt pārformulēt vai atcelt izmaiņas. Aģentiem bija jāpārveido jau esošas tīmekļa lietotnes, dažkārt izmantojot attēlus, audio, video vai dokumentus. Vieglāk veicās ar lokālām izmaiņām, kur labākais modelis pilnībā atrisināja 41% uzdevumu, bet ar plašākām izmaiņām vairākos koda failos tikai 17,9%.

Autori jauno testu pamato ar to, ka vecākie programmēšanas testi kļuvuši pārāk viegli. Kad modeļi var paši palaist, pārbaudīt un labot savu kodu, tie šajos testos sasniedz vairāk nekā 99%, un atšķirības starp modeļiem gandrīz nav izmērāmas. Jaunajā testā vērtēšana ir stingrāka: viens MI vērtētājs pārbauda gatavo lietotni pārlūkā, bet otrs atkārtoti pārbauda katru pozitīvo vērtējumu un meklē, vai rezultāts nav tikai imitēts vai iepriekš ierakstīts kodā.

Visiem desmit modeļiem rezultāti pasliktinājās, ja vienā uzdevumā bija jāapvieno trīs vai četri izmaiņu veidi, piemēram, izkārtojums, dizains, mijiedarbība un saturs. Papildu skaitļošanas jauda šo vājumu nenovērsa: modelis GLM-5.2 patērēja aptuveni sešas reizes vairāk teksta vienību jeb tokenu nekā GPT-6 Astra, tomēr ieguva ievērojami zemāku rezultātu.

Pētnieki arī pārbaudīja, cik liela nozīme ir videi, caur kuru aģents lasa, raksta un izpilda kodu. Viens un tas pats modelis Qwen3.8-27B atkarībā no šīs vides plašākos uzdevumos ieguva no aptuveni 56% līdz 75%. Tāpēc autori iesaka modeļu salīdzinājumos vienmēr norādīt gan modeli, gan vidi, kurā tas darbināts.

Pētījumam ir arī ierobežojumi. Katram uzdevumam ir viens fiksēts pieprasījums, tāpēc aģenti nevar uzdot papildu jautājumus vai saņemt lietotāja labojumus darba gaitā, un arī MI vērtētāji var kļūdīties. Autori testu piedāvā kā kopīgu pamatu, lai turpmāk mērītu, cik bieži programmēšanas aģenti spēj uzdevumu pabeigt pilnībā, nevis tikai daļēji.