Microsoft pabeidz 2,8 triljonu parametru MI modeļa MAI-Base-2 priekšapmācību

Microsoft mākslīgā intelekta nodaļa Microsoft AI 15. oktobrī paziņoja, ka pabeigusi jaunā pamatmodeļa MAI-Base-2 priekšapmācību. Tas ir ekspertu maisījuma (MoE) modelis ar 2,8 triljoniem parametru kopumā, no kuriem katra uzdevuma apstrādē vienlaikus tiek izmantoti 80 miljardi. Modelis vēl tiek pēcapmācīts, un uzņēmums nav minējis ne tā izlaišanas datumu, ne cenu.

Paziņojums ir svarīgs, jo tas parāda, cik nopietni Microsoft attīsta pats savus lielos modeļus, lai mazinātu atkarību no ārējiem MI piegādātājiem. Uzņēmums norāda, ka tagad pats kontrolē visu ķēdi, no datiem līdz infrastruktūrai, un modeļus vispirms pielāgos saviem produktiem. Modeļa svarus Microsoft plāno licencēt uzticamiem partneriem caur savu uzņēmumiem paredzēto platformu Foundry.

Pēc Microsoft datiem, MAI-Base-2 uzņēmuma iekšējos testos ar iepriekš neredzētiem datiem uzrādīja labākus rezultātus nekā visi pārbaudītie atvērtā svara modeļi. Salīdzinājumā ar DeepSeek-V4-Pro-Base, ko Microsoft uzskata par spēcīgāko publiski pieejamo bāzes modeli, tā apmācības metode esot no 4,2 līdz 12,3 reizes efektīvāka skaitļošanas jaudas ziņā. Šie ir paša uzņēmuma aprēķini, un neatkarīgi tie pagaidām nav pārbaudīti.

Apmācībai izmantoti 16 000 Nvidia GB200 grafikas procesoru, un tā ilga 38 dienas augustā un septembrī. Modelis apmācīts ar aptuveni 50 triljoniem datu vienību jeb tokenu. Atšķirībā no iepriekšējās versijas tas jau no sākuma mācīts apstrādāt arī attēlus, un attēlu un teksta dati veidoja 18 % no apmācības kopas. Unikālo datu apjoms, salīdzinot ar jūnijā prezentēto MAI-Base-1, pieaudzis par aptuveni 36 %.

Microsoft uzsver, ka modelis apmācīts ar oriģināliem datiem, nevis destilējot citu uzņēmumu modeļus. Uzņēmums to pamato ar datu izcelsmes kontroli, kas tam ļaušot droši piedāvāt modeli korporatīvajiem klientiem. Salīdzinājumā ar savu iepriekšējo bāzes modeli Microsoft ziņo par 6,3 līdz 12,7 reizes lielāku efektivitāti.

Vienlaikus jāņem vērā, ka bāzes modelis vēl nav gatavs produkts. Lai to varētu lietot čatbotos vai citos rīkos, nepieciešama pēcapmācība, un tikai pēc tās būs redzams, kā modelis darbojas praksē. Microsoft sola rezultātus drīzumā un norāda, ka jau sākta gatavošanās nākamajai versijai MAI-Base-3.