Mistral AI laiž klajā Voxtral 3 runas modeļus un rīku balss aģentu veidošanai

Francijas mākslīgā intelekta uzņēmums Mistral AI otrdien, 20. oktobrī, paziņoja par Voxtral 3 – jaunu modeļu saimi, kas runu pārvērš tekstā un tekstu runā, kā arī par izstrādes rīku komplektu (SDK) balss aģentu veidošanai. Šādi aģenti var reāllaikā runāt ar zvanītājiem, piemēram, klientu apkalpošanas centros vai virtuālajos asistentos.

Pēc Mistral teiktā, runas atpazīšana darbojas vairāk nekā 50 valodās, savukārt runas sintēze – vairāk nekā 35 valodās un 50 dialektos, ar iespēju pielāgot emociju, tempu un uzsvarus. Saimē ir vairāki transkripcijas modeļi, tostarp reāllaika versija, kas nosaka, kad runātājs beidzis teikt, un runas sintēzes modelis Voxtral Speech 3. Uzņēmuma dokumentācijā minēta arī balss klonēšana.

Balss aģentu rīks ir veidots uz atvērtās reāllaika saziņas platformas LiveKit. Tas vienā straumē apvieno klausīšanos, atbildes izdomāšanu ar valodas modeli, piemēram, Mistral Small, ārējo rīku izsaukšanu un runāšanu. Mistral apgalvo, ka viena sarunas maiņa notiek mazāk nekā sekundē un aģents apklust, ja cilvēks viņu pārtrauc. Sarunas laikā aģents var, piemēram, pārbaudīt rēķinu vai pierakstīt uz vizīti, izmantojot uzņēmuma paša sistēmas.

Aģenti var darboties pārlūkā un lietotnēs, kā arī atbildēt uz tālruņa zvaniem un tos veikt, taču tālruņa savienojums sākumā pieejams tikai uzņēmumu klientiem, liecina Mistral dokumentācija. Katrs posms ir atsevišķs modelis, tāpēc valodas modeli, balsi vai valodu var nomainīt, nepārrakstot visu aģentu.

Cenas, pēc Mistral publicētās tabulas, sākas no 0,0035 ASV dolāriem par minūti ierakstu transkripcijai, reāllaika transkripcija maksā 0,008 dolārus minūtē, bet runas sintēze – 13 dolārus par miljonu rakstzīmju. Pilns balss aģents ar Mistral Small 4 modeli maksā 0,04 dolārus minūtē, ar citu modeli – 0,08 dolārus. Uzņēmums apgalvo, ka runas sintēzes cena ir zemāka nekā līdzīgiem OpenAI, Google, ElevenLabs un Deepgram modeļiem.

Mistral uzsver tā saukto suverēno izvietošanu: modeļi pieejami caur Eiropā izvietotu API, kā arī ASV un globāliem galapunktiem, vai arī tos var darbināt klienta paša infrastruktūrā. Tas ir svarīgi Eiropas uzņēmumiem un iestādēm, kas vēlas kontrolēt, kur tiek apstrādāti balss ieraksti. Kā norāda portāls DigIntoAI, paziņojumā nav minēts, ka modeļu svari tiktu publicēti atvērti, un Hugging Face vietnē sākotnēji bija redzami tikai iepriekšējie Voxtral modeļi.