DeepSeek padara par atvērtu kodu savu ražošanas izsecināšanas ietvaru DeepInfer

Ķīnas mākslīgā intelekta uzņēmums DeepSeek 20. oktobrī platformā GitHub publiskoja DeepInfer – izsecināšanas ietvaru, uz kura balstās paša uzņēmuma lielā mēroga MI pakalpojumi. Kods pieejams ar atvērto Apache 2.0 licenci, un kopā ar to izlaists arī komponents deepseek-recipe, kas pieprasījumus pārvērš tokenu secībās tieši tāpat kā oficiālā DeepSeek saskarne.

Izsecināšana ir posms, kurā jau apmācīts modelis atbild uz lietotāju pieprasījumiem, un tieši no tā lielā mērā atkarīgas MI pakalpojumu izmaksas. Pašlaik DeepInfer atbalsta vienu modeli – DeepSeek-V4.1-Flash. Ietvaru var darbināt uz Nvidia SM100 grafikas procesoriem un Huawei Ascend 950 neironu procesoriem, tātad gan uz amerikāņu, gan ķīniešu aparatūras.

Līdzās kodam uzņēmums publicēja arī skaitļus par savu darbību. Pēc DeepSeek datiem, viens tā klasteris dienā apstrādā 155 triljonus tokenu, bet ieņēmumi, rēķinot pēc zemākā tarifa ārpus slodzes stundām, ir aptuveni 38 ASV dolāri par vienu grafikas procesoru stundā. Šos rādītājus neatkarīgi pārbaudīt nav iespējams, tie ir paša uzņēmuma sniegtie dati.

Ietvarā iekļauti DeepSeek jau agrāk publiskotie skaitļošanas kodoli, sadalītā izsecināšana, spekulatīvā dekodēšana un strukturētas izvades atbalsts. Uzņēmuma dokumentācijā aprakstīts, ka pieprasījuma sākotnējai apstrādei tas izmanto parastus astoņu procesoru serverus, bet atbildes ģenerēšanai – lielākus mezglus ar 64 līdz 128 procesoriem.

Tomēr publiskotā versija nav pilnīgs pakalpojums. Tā paredzēta bezsaistes izsecināšanai, un tajā nav iekļauta starpatmiņas pārvaldība, slodzes sadale starp serveriem un pilnīga sākotnējās apstrādes un ģenerēšanas nodalīšana. DeepSeek skaidro, ka šīs daļas ir cieši saistītas ar uzņēmuma iekšējo infrastruktūru, tāpēc to kods pagaidām netiek atklāts, lai gan to uzbūve aprakstīta blogā.

Publikācija notika dienu pēc tam, kad ASV Iekšzemes drošības ministrija lika federālajām civilajām iestādēm atbrīvoties no DeepSeek produktiem, arī no citu uzņēmumu pakalpojumiem, kas veidoti uz tā tehnoloģijām.

DeepSeek sola, ka izsecināšanas kods nākamajiem tā modeļiem un turpmākie veiktspējas uzlabojumi arī tiks publicēti DeepInfer repozitorijā.