Mistral atver Large 4 modeļa priekšskatījumu, atvērtos svarus sola publiskot līdz oktobra beigām

Parīzē bāzētais mākslīgā intelekta uzņēmums Mistral AI 6. oktobrī atvēra publisku priekšskatījumu savam jaunajam vadošajam modelim Mistral Large 4, ko uzņēmums neoficiāli dēvē par "Le Chonk". Izstrādātāji modeli jau var izmēģināt caur Mistral Studio API, savukārt modeļa svarus, kas ļauj to lejupielādēt un darbināt uz saviem serveriem, uzņēmums sola publiskot līdz oktobra beigām.

Large 4 ir multimodāls modelis ar vienu triljonu parametru, kas apstrādā gan tekstu, gan attēlus. Tas veidots pēc ekspertu maisījuma (mixture-of-experts) principa: modeļa lapā Hugging Face norādīts, ka katram tokenam tiek izmantoti 49 miljardi aktīvo parametru jeb 52 miljardi, ja ieskaita iegulšanas un izvades slāņus. Mistral to sauc par savu lielāko un spējīgāko modeli līdz šim.

Uzņēmums uzsver, ka modelis apmācīts no nulles Eiropā, Mistral pašu datu centros, izmantojot gandrīz 4000 NVIDIA Grace Blackwell grafisko procesoru. Apmācības datos bija vairāk nekā 160 valodas, tostarp visas Eiropas Savienības oficiālās valodas. Klientiem būs iespēja modeli izmantot arī Eiropas reģionā, kuru Mistral pārvalda pats un kurā dati ir pakļauti ES tiesību aktiem.

Mistral apgalvo, ka Large 4 ievērojami pārspēj jebkuru ASV vai Eiropā izstrādātu atvērto svaru modeli un ir konkurētspējīgs ar spēcīgākajiem atvērtajiem modeļiem pasaulē. Aģentiskās programmēšanas testā DeepSWE modelis sasniedzis aptuveni 62 % rezultātu. Uzņēmums gan norāda, ka rezultāti ir provizoriski, jo pastiprinātās mācīšanās posms joprojām turpinās un rādītāji līdz svaru publiskošanai var mainīties.

Īpašu uzmanību Mistral pievērš kiberdrošībai. Līdz svaru publiskošanai modeli reālos apstākļos testē kiberdrošības uzņēmumi, pārbaudīti partneri un valsts iestādes, kuri saņem versiju ar mazāk ierobežojumiem un plašākām kiberspējām. Uzņēmuma ieskatā atvērtie svari ļaus organizācijām veikt drošības darbu pēc saviem noteikumiem, nepaļaujoties uz ārēja pakalpojumu sniedzēja ierobežojumiem.

Large 4 ir pirmais modelis, kas tapis pēc Mistral septembrī noslēgtās 3 miljardu eiro finansējuma kārtas. Pirms svaru publiskošanas uzņēmums sola sniegt vairāk informācijas par modeļa arhitektūru, papildu testu rezultātus un pēcapmācības metodiku. Vēlāk Large 4 kalpos par pamatu jaunai specializētu Mistral modeļu paaudzei.