ElevenLabs laiž klajā Eleven Realtime runas modeļus balss aģentiem 90 valodās

Balss MI uzņēmums ElevenLabs 20. oktobrī paziņoja par jaunu modeļu saimi Eleven Realtime. Tie ir tā sauktie runa-runā modeļi, kuros viens modelis darbojas kā pilns balss aģents, nevis kā atsevišķu sastāvdaļu virkne.

Līdz šim balss asistentu izstrādātājiem parasti bija jāsavieno vairāki rīki: runas atpazīšana, pauzes un runātāja maiņas noteikšana, liels valodas modelis un teksta pārvēršana runā. ElevenLabs norāda, ka šo daļu salāgošana un pieskaņošana pati par sevi ir apjomīgs darbs, un jaunie modeļi ir paredzēti, lai to vienkāršotu.

Uzņēmums piedāvā divas versijas. Eleven Realtime v1 Mini paredzēta dabiskām sarunām ar zemākām izmaksām, piemēram, digitāliem asistentiem, mācību palīgiem un interaktīviem tēliem. Jaudīgākā v1 Max domāta sarežģītākiem uzdevumiem, kā klientu atbalstam, potenciālo klientu atlasei un vairāku soļu darba plūsmām, kur aģentam jāievēro noteikta procedūra un jāizmanto ārēji rīki. Abas versijas atbalsta vairāk nekā 90 valodas un var izmantot jebkuru no ElevenLabs bibliotēkas vairāk nekā 17 000 balsīm.

ElevenLabs atsaucas uz neatkarīgā vērtētāja Artificial Analysis testiem. Saskaņā ar uzņēmuma datiem v1 Max pareizi atbildēja uz 98,8 % balsī uzdoto jautājumu testā Big Bench Audio un sāka runāt vidēji pēc 0,57 sekundēm, bet v1 Mini rādītāji bija 75,9 % un 0,62 sekundes. Testā, kas vērtē pauzes, pārtraukšanu un runātāju maiņu, Mini ieguva 95,8 %, bet Max 94,1 %. Ar ārējo rīku izmantošanu saistītos uzdevumos Max veiksmīgi paveica 87,1 %, Mini 60,3 %, tāpēc uzņēmums šādiem gadījumiem iesaka jaudīgāko versiju.

Modeļi pieejami uzņēmuma platformā ElevenAgents, kur tos var izvēlēties esošiem vai jauniem aģentiem un savienot ar tālruni, tīmekli, WhatsApp un zvanu centru sistēmām. Otrs ceļš ir Realtime API, kas ir saderīgs ar OpenAI Realtime API protokolu. Izstrādātāji, kuri jau izmanto OpenAI rīkus, pēc uzņēmuma teiktā var nomainīt tikai savienojuma adresi un modeļa nosaukumu. Tehnoloģiju izdevums The Decoder norāda, ka cena tiek aprēķināta par minūti un papildus par tokeniem, un Max ir dārgāks par Mini.

Ir arī ierobežojumi. API šobrīd darbojas tikai caur WebSocket savienojumu, tāpēc WebRTC risinājumi vispirms jāpārveido. Turklāt API darbojas atsevišķi no ElevenAgents platformas, un tiem, kam vajadzīgi saziņas kanāli vai zināšanu bāze, ieteicams uzreiz veidot risinājumu ElevenAgents vidē.