NVIDIA laiž atvērtu Nemotron 3.5 Super VL aģentu multimodālajām darbplūsmām

NVIDIA 15. oktobrī publiskoja atvērtā svara multimodālo modeli Nemotron 3.5 Super VL, kas paredzēts ilgstošiem, specializētiem MI aģentiem. Kopā ar to uzņēmums izlaida arī robežierīcēm paredzētos Nemotron 3.5 Bolt modeļus. Svari pieejami Hugging Face, un atbalstu dienā nullē paziņoja arī atvērtā koda inference platforma vLLM.

Super VL ir maisījuma-ekspertu (MoE) arhitektūra ar aptuveni 120 miljardiem parametru, no kuriem katrā solī aktīvi ir aptuveni 12 miljardi. Modelis vienā sistēmā apvieno tekstu, attēlus, dokumentus un video ar spriešanu, rīku izmantošanu un instrukciju izpildi, tāpēc, pēc NVIDIA teiktā, nav jātur atsevišķi teksta un redzes modeļi.

Uzņēmums apgalvo, ka uz viena GPU Super VL aģentu uzdevumos sasniedz līdz piecām reizēm lielāku caurlaidspēju nekā citi atvērtie modeļi līdzīgā izmēra klasē. Modeļa ģimenē iekļauti arī Bolt 74B-A9B 24 GB, kas jau pieejams lokālām RTX un DGX Spark darbplūsmām, un mazāks Bolt E4B 4 GB, kura izlaišana plānota 23. oktobrī.

vLLM komanda apstiprina, ka Super VL dienā nullē darbojas ar tās servēšanas slāni, tostarp ar OpenAI saderīgu API, spekulatīvo dekodēšanu un NVFP4 kvantizētajiem kontrolpunktiem. Modeļa svarus var lejupielādēt BF16 un NVFP4 formātos, un NVIDIA piedāvā arī NIM mikroservisu un NeMo pielāgošanas rīkus.

Organizācijas var pēcapmācīt Super VL ar saviem datiem, rīkiem un politikām. NVIDIA un partneri min pielietojumus dokumentu izpratnē, kiberdrošībā, finanšu un medicīnas darbplūsmās, kā arī tīmekļa pētniecībā. Atvērtie svari ļauj modeļi izvietot uzņēmuma infrastruktūrā, ja to prasa drošības vai datu rezidences prasības.

Eiropā un Latvijā šādi atvērtie multimodālie modeļi varētu atvieglot lokālu MI aģentu izstrādi bez neatgriezeniskas atkarības no slēgtām mākoņa API, ja vien ir pieejama atbilstoša skaitļošanas jauda. Tomēr reālā produktivitāte būs atkarīga no pēcapmācības kvalitātes un infrastruktūras izmaksām, ne tikai no modeļa izmēra.