Google atvērtā koda izlaiž ML Drift — GPU dzinēju ierīču MI secinājumiem

Google AI Edge komanda 8. oktobrī atvērtā koda izlaidusi ML Drift — augstas veiktspējas, platformu neatkarīgu GPU aprēķinu dzinēju ierīču mākslīgā intelekta (MI) secinājumiem. Projekts pieejams ar Apache 2.0 licenci gan kā LiteRT GPU paātrinātāja pamats, gan kā atsevišķa C++ bibliotēka pielāgotiem grafikas un secinājumu risinājumiem.

ML Drift abstrahē ierīču GPU aparatūras un API atšķirības, atbalstot OpenGL ES, OpenCL, Metal un WebGPU. Google norāda, ka tas aizstāj novecojušo TensorFlow Lite GPU delegātu, kurš vairs nesaņems jaunas funkcijas, un ka migrācija uz LiteRT ML Drift paātrinātāju paredzēta ar atpakaļsavietojamību esošiem modeļiem.

Starp galvenajām arhitektūras izmaiņām ir tenzoru virtualizācija, kas ļauj vienotu ēnotāju modeli vairākos aizmugursistēmas veidos, paplašināms pielāgoto operatoru ietvars ar tiešu piekļuvi ēnošanas valodām, kā arī 5D tenzoru atbalsts. Tas ļauj uz ierīču GPU tieši palaist arī sarežģītākus modeļus, piemēram, 3D konvolūcijas un spaiciski-laika tīklus.

Google ziņo, ka ML Drift jau darbojas produkcijā produktos un partneru lietotnēs. YouTube Shorts norādījis līdz aptuveni 40 % zemāku vidējo kadru aizkavi; Adobe Lightroom un Photoshop — līdz aptuveni 30 % ātrāku fotoapstrādi ierīcē; Snap — aptuveni 30 % zemāku modeļu aizkavi Snapchat lēcās. Šie skaitļi nāk no partneru un Google ziņojumiem un nav neatkarīgi auditēti.

Arm publicējusi, ka sadarbībā ar Google optimizēti kodoli un resursu lietojums Mali un Immortalis GPU, tostarp tekstūru kešatmiņas lokalitāte un darba grupu pielāgošana. Google minējusi arī sadarbību ar Intel un Qualcomm. Atsevišķi ML Drift WebGPU ceļš caur Dawn ļauj palaist to arī Windows un Linux darbstacijās, taču Google uzsver, ka prioritāte joprojām ir mobilās un malu ierīces.

Izstrādātājiem LiteRT ML Drift paātrinātājs pieejams jau tagad neatkarīgajos LiteRT paketēs; Google Play Services versijā tas solīts drīzumā. Kods un dokumentācija atrodami GitHub repozitorijā google-ai-edge/ml-drift. Tālākais solis praktiski ir migrācija no TFLite GPU delegāta un pārbaude, vai konkrētie modeļi un ierīces iegūst solīto veiktspējas un pārklājuma ieguvumu.