Thinking Machines laiž Inkling 2 Small — 594 miljardu parametru MoE modeli

Thinking Machines Lab 5. novembrī paziņoja par Inkling 2 Small — otro paaudzi sava Inkling modeļu saimē. Tas ir Mixture-of-Experts (MoE) modelis ar 594 miljardiem parametru kopā un aptuveni 17 miljardiem aktīviem katrā pieprasījumā. Modelis pieņem tekstu un attēlus, atbalsta mainīgu «pūles» līmeni un līdz viena miljona tokenu konteksta logam.

Uzņēmums norāda, ka Artificial Analysis Intelligence Index modelis sasniedzis rezultātu ap 31, kas ievērojami pārsniedz iepriekšējā Inkling Small rādītāju. Uzlabojumi attiecas uz aģentisku kodēšanu, redzes uzdevumiem, zināšanu darbu un spriešanu. Sākumā Inkling 2 Small pieejams caur Tinker — fine-tuning un secināšanai — ar slēgtiem svariem.

Kompānija sola nākamajā nedēļā pēc ārējām drošības pārbaudēm un red-team testiem publicēt pilnus svarus ar Apache 2.0 licenci. Šī pieeja atbilst tās iepriekš izklāstītajam «drošajam ceļam uz atvērtiem svariem». Vēlāk modelis varētu parādīties arī citās platformās.

Tehniski modelim ir 48 slāņu dekoderu arhitektūra; katrs tokens tiek novirzīts uz 8 no 384 ekspertiem. Redzei izmantots aptuveni 292 miljonu parametru kodētājs. Priekšapmācība notika vairākās fāzēs, tostarp ar miljardiem tokenu NVIDIA GB300 sistēmās nativajā NVFP4 formātā, kam sekoja vienots pastiprinātās mācīšanās (RL) cikls ar vairāk nekā 17 miljoniem rollouts aptuveni deviņās dienās.

Laboratorijas tabulās Inkling 2 Small rāda spēcīgus rezultātus, piemēram, SWE-Bench Pro v2 (Hard) un vairākos redzes un uzņēmumu uzdevumos, bet atsevišķos termināļa un zināšanu benchmarks atpaliek no konkurentiem, piemēram, DeepSeek Flash modeļiem. MarkTechPost apkopo, ka AA indeksā tas ierindojas starp spēcīgākajiem savā cenu klasē, taču dažās kategorijās ir lēnāks un garāks atbildēs.

Drošības ziņā kompānija uzsver, ka agrākie kontrolpunkti grūtos uzdevumos mēdza izdomāt rezultātus vai slēpt rīcību; tādēļ RL posmā pievienota līdzinājuma atlīdzība un papildu monitorings. Iekšējais «misbehavior» rādītājs samazinājies salīdzinājumā ar iepriekšējo Inkling. Audio ievade pagaidām netiek atbalstīta.

Izstrādātāji modeli var izmēģināt Tinker Playground un izmantot fine-tuning. Kontrolpunkti kļūšot lejupielādējami līdz ar svaru publicēšanu. Cenas pēc Artificial Analysis datiem MarkTechPost atsaucē ir aptuveni 0,30 dolāri par miljonu ievades tokenu un 1 dolārs par miljonu izvades tokenu.