Meituan izlaiž MI modeli LongCat-2.5 ar 1,6 triljoniem parametru, apmācītu ar Ķīnas čipiem

Ķīnas pakalpojumu platforma Meituan pirmdien, 2. novembrī, oficiāli izlaida savu jauno MI modeli LongCat-2.5. Tas ir paredzēts ilgiem, daudzpakāpju uzdevumiem, ko veic MI aģenti, piemēram, programmatūras izstrādei. Uzņēmums uzsver, ka modelis apmācīts ar Ķīnā ražotiem MI paātrinātājiem, nevis ar amerikāņu čipiem.

Modelim kopā ir 1,6 triljoni parametru, taču tas ir veidots kā ekspertu maisījums, tāpēc katra teksta vienība jeb tokens tiek apstrādāta ar aptuveni 48 miljardiem aktīvo parametru. Tas būvēts uz šā gada jūnijā publiskotā LongCat-2.0 pamata, un tā izmēģinājuma versija bija pieejama jau kopš 25. septembra.

LongCat-2.5 ir vietēji multimodāls modelis: attēlus tas pārvērš tādās pašās atsevišķās vienībās kā tekstu un apstrādā tos vienā modelī bez atsevišķa redzes kodētāja. Meituan to izmanto tā sauktajai vizuālajai programmēšanai, piemēram, lai no dizaina skicēm izveidotu tīmekļa lapas, kā arī radošiem dizaina un trīsdimensiju uzdevumiem.

Lai uzlabotu darbu ar sarežģītām kodu bāzēm un veselu projektu izveidi, izstrādātāji apmācībā pievienoja vairāk garu uzdevumu secību un izmantoja liela mēroga stimulētu mācīšanos. Uzņēmums arī stāsta, ka reālu MI aģentu kļūdas pārvērš atkārtojamos un pārbaudāmos apmācības uzdevumos, lai mērķtiecīgi novērstu modeļa vājās vietas.

Tehniskajā aprakstā Meituan norāda, ka Ķīnas paātrinātājiem katrā čipā ir mazāk nekā 80 GB atmiņas, tāpēc apmācības sistēma bija jāpielāgo. Modeļa darbināšanai gan ekspertu svari, gan aktivācijas tiek kvantēti līdz 4 bitiem, un slodzes testos tas devis aptuveni par 43 % lielāku caurlaidspēju nekā 8 bitu versija.

Modeli var izmantot Meituan tērzēšanas pakalpojumā un caur API, un uz ierobežotu laiku tā cena ir 0,30 dolāri par miljonu ievades tokenu un 1,20 dolāri par miljonu izvades tokenu. Atšķirībā no LongCat-2.0, kas tika publicēts kā atvērtā koda modelis, LongCat-2.5 svari pagaidām nav pieejami lejupielādei, lai gan uzņēmums norādījis, ka versijas GitHub un Hugging Face platformās sekos.

Salīdzinājumos ar OpenAI un Anthropic modeļiem Meituan publicējis tikai paša veiktu testu rezultātus. Neatkarīgi novērtējumi pagaidām nav pieejami, tāpēc modeļa patiesās spējas varēs pārbaudīt tikai tad, kad to izmēģinās citi pētnieki un izstrādātāji.