Mistral laiž Large 4 priekšskatījumu — triljonu parametru atvērtā svara modeli Eiropā

Parīzes MI uzņēmums Mistral 6. oktobrī atvēra publisku priekšskatījumu jaunajam karogsmodelim Mistral Large 4, neoficiāli dēvētam arī par «Le Chonk». Izstrādātāji to jau var izmēģināt caur Mistral Studio un API; lejupielādējamie modeļa svari, pēc uzņēmuma teiktā, būs pieejami oktobra beigās.

Oficiālajā paziņojumā Mistral norāda, ka Large 4 ir aptuveni viena triljona parametru multimodāls «mixture-of-experts» modelis ar aptuveni 52 miljardiem aktīvo parametru katrā solī. Tas apstrādā tekstu un attēlus, un priekšskatījuma kontekstā tiek minēts līdz miljonam tokenu logs — būtiski plašāks nekā iepriekšējā Large paaudzē.

Modelis no nulles trenēts uz aptuveni 3800 Nvidia Grace Blackwell GPU Mistral pašu datu centros Eiropā; tajā pašā infrastruktūrā tiek apkalpots arī API priekšskatījums. Uzņēmums uzsver, ka ievērojama daļa treniņa datu bijusi daudzvalodīga — vairāk nekā 160 valodās, tostarp visās oficiālajās ES valodās —, un ka klientiem būs pieejama arī Eiropas reģiona izvietošana, kas darbojas pēc ES tiesību aktiem.

Mistral īpaši izceļ kiberdrošības un suverenitātes aspektu: kad svari būs publiski, organizācijas varēs palaist modeli privātā mākonī vai savā infrastruktūrā, nepaļaujoties tikai uz slēgtu pakalpojumu sniedzēju filtriem. Uzņēmuma līdzdibinātājs un galvenais zinātnieks Guillaume Lample norādījis, ka aizsardzības spējas palīdzēs uzņēmumiem un valdībām pretoties uzbrucējiem, kas izmanto «jailbreak» pret slēgtajiem modeļiem.

Pēc uzņēmuma sākotnējiem novērtējumiem Large 4 rāda konkurētspējīgus rezultātus aģentu kodēšanā, finanšu un juridiskajos uzdevumos, kā arī vizuālajā «grounding» — objektu atrašanā attēlos. Mistral brīdina, ka pastiprinātās mācīšanās posms vēl turpinās un rezultāti līdz svaru laidienam var mainīties.

Large 4 ir pirmais lielais solis pēc Mistral septembrī pabeigtās aptuveni trīs miljardu eiro Series D finansējuma kārtas. Uzņēmums sola līdz mēneša beigām publicēt vairāk detaļu par arhitektūru, drošības testiem un pēcapmācību, un pēc tam būvēt specializētus modeļus uz šīs bāzes.