Nvidia publisko bezmaksas runas atpazīšanas modeli, kas pārvērš tekstā arī latviešu runu

ASV čipu ražotājs Nvidia trešdien, 28. oktobrī, publiskoja Nemotron 3.5 Transcribe – bezmaksas runas atpazīšanas modeli ar atvērtiem svariem. Tas audioierakstus pārvērš tekstā 40 valodās, un uzņēmuma publicētajā valodu sarakstā ir iekļauta arī latviešu valoda, tāpat kā igauņu un lietuviešu.

Modelis ne tikai pieraksta teikto. Tas var tulkot starp angļu valodu un 31 citu valodu, apstrādāt līdz stundu garus ierakstus un norādīt, kurš no runātājiem ko teica, atšķirot līdz astoņām balsīm. Nvidia norāda, ka modeli var vadīt ar parastām norādēm, piemēram, iedodot tam nozares terminu sarakstu, lai tas pareizāk atpazītu retus nosaukumus un specifiskus vārdus.

Uzņēmums mērķē uz izstrādātājiem, kas veido lietotnes darba sapulču un medicīnisku sarunu pierakstīšanai. Kopā ar modeli Nvidia publiskoja arī atjauninātu atvērto runas datu kopu Granary otrajā versijā un rīkus, ar kuriem modeli var pielāgot konkrētas nozares žargonam.

Nvidia apgalvo, ka Nemotron 3.5 Transcribe uzrāda labāko precizitāti starp atvērto svaru modeļiem Hugging Face platformas Open ASR runas atpazīšanas salīdzinājumā. Uzņēmuma tehniskajā ziņojumā minēts, ka angļu valodas testos vidējais vārdu kļūdu īpatsvars ir 4,71 %. Šie rezultāti gan ir paša ražotāja dati.

Ziņojumā atklāti arī vājie punkti. Automātiski nosakot, kurā valodā runā cilvēks, modelis lielākajai daļai valodu kļūdās reti, taču latviešu valodu tas vienā no testiem pareizi atpazina tikai aptuveni 80 % gadījumu. Līdzīgas grūtības ražotājs norāda arī slovēņu valodai.

Vēl viens ierobežojums ir tas, ka modelis strādā tikai ar jau ierakstītu audio, nevis tiešraides plūsmām. Tā darbināšanai pietiek ar vienu jaudīgu grafisko procesoru, un Nvidia min, ka to var darbināt gan datu centru čipos, gan kompaktajās DGX Spark un Jetson AGX Thor ierīcēs. Modelis ir pieejams Hugging Face platformā ar OpenMDW-1.1 licenci, kas ļauj to lejupielādēt un lietot savos serveros.