Revolut ar pašu darbinātiem atvērtajiem MI modeļiem desmitkārt samazina programmēšanas rīku izmaksas

Finanšu tehnoloģiju uzņēmums Revolut ir aptuveni desmit reizes samazinājis izdevumus par MI programmēšanas rīkiem, jo aptuveni 2000 izstrādātājiem par noklusējuma risinājumu padarījis pašu darbinātus atvērtos modeļus, nevis komerciālus pakalpojumus. Par to oktobrī konferencē MI Engineer Ņujorkā stāstīja uzņēmuma MI darbības un infrastruktūras vadītājs Deivids Abitbols, bet plašāku uzmanību stāsts guva šonedēļ pēc tehnoloģiju izdevuma The Register publikācijas.

Revolut vispirms ieviesa Google Gemini, bet vēlāk arī Anthropic rīku Claude Code. Abitbols atzina, ka daži inženieri tērējuši no tūkstoš līdz desmit tūkstošiem dolāru mēnesī bez pietiekamas atdeves, tāpēc rīks tika ieviests ar stingriem budžeta ierobežojumiem. Rezultātā izstrādātāji taupīja tokenus tikai sarežģītākajiem uzdevumiem, un uzņēmums sāka meklēt lētāku risinājumu.

Kopš šā gada aprīļa Revolut izmanto Ķīnas izstrādātāja Z.ai atvērtos GLM modeļus: sākumā GLM-5.1, tagad GLM-5.3, ko darbina 56 Nvidia B200 grafiskie procesori. Pēc Abitbola teiktā, vidējās izmaksas ir ap 0,30 dolāriem par miljonu tokenu, bet kopējais rēķins ir aptuveni desmitā daļa no tā, ko uzņēmums iepriekš maksāja Anthropic un OpenAI.

Uzņēmuma iekšējie dati pēc pārejas rāda par aptuveni 60 % īsāku programmēšanas laiku un par 70 % īsāku laiku no darba uzsākšanas pie funkcijas līdz brīdim, kad kods ir gatavs izvietošanai. Abitbols to skaidro ar to, ka lielākais ieguvums nav pati koda rakstīšana, bet iespēja uzticēt MI arī apkārtējo darbu, piemēram, uzdevumus Jira un Confluence sistēmās. Konferences kopsavilkumā gan norādīts, ka šis salīdzinājums nenošķir modeļa maiņas ietekmi no citām pārmaiņām uzņēmumā.

Ātrdarbību Revolut uzlaboja nevis ar papildu procesoriem, bet ar iestatījumu pielāgošanu, tostarp FP4 kvantizāciju, ievades apstrādes un atbildes ģenerēšanas nodalīšanu un konteksta loga ierobežošanu līdz aptuveni 256 000 tokenu. Laiks līdz pirmajai atbildes daļai saruka no vairāk nekā 14 sekundēm līdz aptuveni 1,7 sekundēm. Abitbols uzsvēra, ka mērķis ir mazāk par trim sekundēm, jo, ja gaidīšana pārsniedz piecas, izstrādātāji sāk sūdzēties.

GLM ir tikai teksta modelis, tāpēc vaicājumi ar attēliem tiek novirzīti citiem modeļiem, piemēram, Gemini, bet Claude Code un Codex paliek pieejami kā izņēmums. Runājot par bažām saistībā ar Ķīnā izstrādātiem modeļiem, Abitbols norādīja, ka uzņēmums tikai lejupielādē modeļa svarus un darbina tos paša izvēlētā infrastruktūrā, nevis sūta datus uz Ķīnā izvietotiem pakalpojumiem. Konferences rīkotāji piebilst, ka minētie izmaksu skaitļi atspoguļo Revolut konkrēto izmantojumu un nav automātiski attiecināmi uz citiem uzņēmumiem.