METR: Anthropic modeļi uzlabojas gandrīz divreiz ātrāk, lielā mērā ar MI palīdzību

Neatkarīgā MI drošības organizācija METR (Model Evaluation and Threat Research) ceturtdien publiskoja novērtējumu, kurā secināts, ka Anthropic savu modeļu spējas labi definētos uzdevumos uzlabo aptuveni divreiz ātrāk nekā periodā no 2024. gada marta līdz 2025. gada oktobrim. Novērtējums balstīts uz 11 nedēļu darbu Anthropic iekšienē no 12. augusta līdz 29. oktobrim.

Pēc METR datiem Anthropic iekšējā spēju indekss AECI kopš 2025. gada oktobra audzis aptuveni 1,9 reizes ātrāk nekā iepriekšējā tempā; 95 % ticamības intervāls ir no 1,5 līdz 2,8. Organizācija norāda, ka pēdējā gada laikā Anthropic uz etalonuzdevumiem paveicis aptuveni tikpat daudz progresa, cik iepriekšējos divos gados. METR uzsver, ka šis novērtējums dots ar lielu nenoteiktību un ka īstais paātrinājums varētu būt tuvāks 1,3 vai 3 reizēm.

Organizācija uzskata, ka lielāko daļu pašreizējā paātrinājuma, iespējams, aptuveni 80 %, izskaidro plaša MI izmantošana pašu MI pētniecībā un izstrādē, lai gan arī šis skaitlis ir nenoteikts. METR ir pārliecināta, ka paātrinājumu neizraisīja ātrāka apmācības skaitļošanas jaudas mērogošana. Darbinieku intervijas un aptaujas saskan ar viedokli, ka MI palīdzība būtiski paātrina darbu, taču sistēmas vēl nespēj pilnībā autonomi veikt vissvarīgākos modeļu apmācības soļus.

METR arī ziņo, ka nākamajos 12 mēnešos nav redzēti pārliecinoši šķēršļi, kas apturētu tālāku progresu algoritmos, apmācības un eksperimentu skaitļošanā vai datos. Tāpēc pastāv risks, ka spēju uzlabojumi varētu vēl vairāk paātrināt pašu izstrādi. Vienlaikus organizācija atzīst, ka tās izpratne par iespējamiem šķēršļiem vairākkārt mainījās, tāpēc šajā vērtējumā nav pilnīgas pārliecības.

Publiskajā ziņojumā Anthropic izņēma lielāko daļu pierādījumu, ko METR uzskatīja par informatīvākajiem, argumentējot, ka tie satur konkurrentiem noderīgu konfidenciālu informāciju. METR brīdina, ka sabiedrībai tādēļ nākas vairāk paļauties uz pašas organizācijas spriedumu. Anthropic līdzdibinātājs Sems Makendlišs (Sam McCandlish) norādījis, ka uzņēmums plāno publiskot arī savu analīzi par MI progresa tempu Anthropic iekšienē.