Meta, MIT un Vašingtonas universitāte: konteksta valodas modeļi paši pārvalda savu kontekstu

Pētnieki no Meta Superintelligence Labs, Masačūsetsas Tehnoloģiju institūta (MIT) un Vašingtonas universitātes iepazīstinājuši ar konteksta valodas modeļiem jeb CLM (Context Language Models) — pieeju, kurā valodas modelis pats pārvalda un rediģē savu kontekstu, nevis paļaujas uz iepriekš noteiktiem kopsavilkuma, saspiešanas vai informācijas izguves mehānismiem. InfoQ 11. oktobrī atspoguļoja darbu, kura primārais avots ir 29. septembra arXiv publikācija un atvērtā koda repozitorijs.

CLM īstenošana balstās uz ideju, ka konteksts tiek apstrādāts kā fails, kuru modelis var brīvi atjaunināt: pārrakstīt vecus ziņojumus, saglabāt būtiskus faktus, izmest nederīgu informāciju un uzturēt progresa piezīmes. Autori uzsver, ka tā aizstāj tradicionālās ārējās «harness» stratēģijas un ļauj modelim mācīties konteksta pārvaldības paņēmienus, kas iet tālāk par cilvēka iepriekš definētām darbībām. Dizains dabiski paplašinās uz vairāku aģentu sistēmām, kur katram aģentam var būt savs konteksta fails.

Nulles šāviena CLM, lietojot esošos modeļus, autoriem ziņotajos etalonos pārspējis līdzšinējās konteksta pārvaldības stratēģijas: BrowseComp-Plus dziļās izpētes uzdevumā — par 11,4 % augstāka precizitāte ar 21,5 % mazāku FLOPs slodzi; 12 stundu EdgeBench testā — par 5 % augstāki rezultāti ar 59 % mazāku FLOPs; 24 stundu daudzu repozitoriju aģentu «baru» uzdevumā — par 65 % lielāks uzlabojums pie tādas pašas skaitļošanas jaudas. Skaitļi ņemti no pašas publikācijas un InfoQ kopsavilkuma.

Pētnieki izmēģinājuši arī konteksta mācīšanos un pastiprināto mācīšanos. Ar dabiskās valodas norādēm un prasmju optimizācijas cilpu ContextBench uzdevumos precizitāte uzlabota līdz 35,9 procentpunktiem, samazinot skaitļošanu. Tiešsaistes pastiprinātā mācīšanās Qwen3.5-9B modelim BrowseComp-Plus rezultātu pacēlusi no 28,8 % līdz 42,5 % — relatīvi par 47,6 % — ar 12 % mazāku FLOPs. Servēšanai izstrādāta Suffix Cache Reuse metode, kas autoru mērījumos samazina servera puses skaitļošanu par 35 % pret standarta SGLang pie salīdzināmas veiktspējas.

Autori atzīst arī riskus: modelis var izmest svarīgu informāciju, kuru vēlāk nevar atgūt, un rediģējams konteksts kļūst par jaunu kanālu, caur kuru uzvednes injekcijas vai paša modeļa ģenerētas instrukcijas var saglabāties starp gājieniem. Lielāka kontrole pār kontekstu automātiski nenozīmē labāku uzvedību. Kodam un eksperimentiem pieejams oficiālais GitHub repozitorijs facebookresearch/context-language-models.