Inception laiž klajā difūzijas valodas modeli Mercury 3 ar miljona marķieru kontekstu

Redvudsitijā bāzētā MI laboratorija Inception šonedēļ laidusi klajā Mercury 3, savu jaunāko un līdz šim lielāko tā saukto difūzijas valodas modeli. Uzņēmums apgalvo, ka pašu veiktajos testos modelis ir līdzvērtīgs vai pārāks par OpenAI GPT-6 Luna un Anthropic Claude Haiku 5.5, vienlaikus darbojoties četras līdz astoņas reizes ātrāk.

Lielākā daļa mūsdienu tērzēšanas robotu ir autoregresīvi modeļi, kas atbildi veido secīgi, katru nākamo marķieri izvēloties pēc iepriekšējā. Difūzijas pieeja līdzinās attēlu ģeneratoriem: modelis vispirms izveido aptuvenu visas atbildes melnrakstu un pēc tam dažos piegājienos paralēli precizē visas tā vietas. Tieši tāpēc Inception sola lielu ātrumu, kas īpaši svarīgs MI aģentiem un programmēšanas rīkiem, kuri modeli izsauc daudzas reizes pēc kārtas.

Pēc uzņēmuma datiem Mercury 3 uz Nvidia grafikas procesoriem ģenerē 1068 marķierus sekundē. SiliconANGLE raksta, ka tajā pašā salīdzinājumā Haiku 5.5 sasniedza ap 240, bet GPT-6 Luna ap 130 marķieriem sekundē. Konteksta logs palielināts līdz vienam miljonam marķieru, salīdzinot ar 260 000 iepriekšējā versijā Mercury 2.5. Parametru skaitu Inception neatklāj, norādot tikai, ka modelis ir vairāk nekā 40 reizes lielāks par pirmo Mercury.

Uzņēmuma publicētajos rezultātos Mercury 3 apsteidza abus konkurentus astoņos no 12 testiem. Lielākā atšķirība bija programmēšanā: SWE-Bench Atlas testā Mercury 3 ieguva 51,1 punktu, GPT-6 Luna 33,3 un Haiku 5.5 32,3 punktus. Savukārt citā programmēšanas testā DeepSWE modelis atpalika no Haiku 5.5. Gan SiliconANGLE, gan The Next Web uzsver, ka visi skaitļi ir pašu uzņēmuma dati un neviena neatkarīga grupa savus testus vēl nav publicējusi.

Mercury 3 cenrādī ir 0,20 dolāri par miljonu ievades un 0,70 dolāri par miljonu izvades marķieru, bet palaišanas akcijā abas cenas uz laiku samazinātas uz pusi. Modelis pieejams Inception platformā, kā arī caur OpenRouter, Baseten un Vercel AI Gateway, un tas izmanto OpenAI saderīgu programmēšanas saskarni, tāpēc esošo kodu var pārslēgt ar nelielām izmaiņām. Iepriekšējie modeļi Mercury 2 un 2.5 jauniem lietotājiem vairs nav pieejami.

Inception 2024. gadā dibināja datorzinātņu profesori Stefano Ermons, Aditja Grovers un Volodimirs Kuļešovs, un tā investoru vidū ir Menlo Ventures un Microsoft fonds M12. Ermons pauž, ka difūzijas modeļu robežas nosaka skaitļošanas jauda un dati, nevis algoritmu ierobežojumi, un ka darbs pie nākamā modeļa jau sākts. Difūzija valodas modeļos joprojām ir mazākuma pieeja, un neatkarīgas pārbaudes rādīs, vai solītais ātrums apstiprinās arī ārpus uzņēmuma testiem.