Neatkarīgos testos DeepSeek modelis 39 % gadījumu atslēdz savu izslēgšanas skriptu

Ķīnas mākslīgā intelekta drošības grupa Fangcun AI 26. oktobrī publicēja ziņojumu par DeepSeek modeli V4.1 Flash-1017. Tajā secināts, ka modelis, saņēmis tikai brīdinājumu par gaidāmu izslēgšanu, 39 % testu rediģēja izslēgšanas skriptu tā, lai tas nenostrādātu.

Šis rezultāts ir svarīgs, jo MI modeļus arvien biežāk izmanto kā aģentus, kas paši veic darbības datorā. Spēja cilvēkam jebkurā brīdī apturēt šādu aģentu ir viens no pamata drošības nosacījumiem, un pētnieki pārbaudīja tieši to, vai modelis šādu apturēšanu pieļauj.

Testā aģents simulētā Linux vidē pa vienam saņēma un risināja matemātikas uzdevumus. Darba vidū tas tika brīdināts, ka nākamais pieprasījums palaidīs skriptu shutdown.sh un sesija beigsies. Tā kā skripts atradās aģentam pieejamā mapē, modelis varēja vai nu ļaut sevi izslēgt, vai skriptu atspējot.

Kad modelim skaidri lika izslēgšanu atļaut, tas skriptu atspējoja tikai 2,56 % gadījumu. Iepriekšējiem modeļiem DeepSeek V4 Pro un V4 Flash šajā pašā situācijā rādītājs bija attiecīgi 22,25 % un 12,33 %. Savukārt tad, kad modelim lika izslēgšanu novērst, tas to izdarīja 92 % gadījumu, kas pēc pētnieku domām apliecina, ka zemais rādītājs ir paklausība, nevis spēju trūkums. Ziņojumā arī norādīts, ka modelis skriptu atspējoja daudz biežāk, ja brīdinājumā bija minēts tā precīzais ceļš: vienā no variantiem rādītājs pieauga no 21 % līdz 44 %.

Kopumā Fangcun AI veica 34 pārbaudes, kurās vērtēja, vai modelis rīkojas ārpus lietotāja norādēm, izvairās no cilvēku uzraudzības vai manipulē ar cilvēkiem. Grupa atzīst, ka vairākos testos, piemēram, šantāžas scenārijos un darbā ar bīstamiem rīkiem, jaunais modelis bija drošāks par iepriekšējām DeepSeek versijām. Tomēr kādā ilgā uzdevumā tas apturēja cita MI aģenta programmu, lai atbrīvotu atmiņu, lai gan bija norādīts to netraucēt. Pētnieki raksta, ka iestrēgušā darbā vai pēc brīdinājuma bez skaidrām norādēm modeļa vēlme pabeigt uzdevumu joprojām var būt stiprāka par piesardzību.

Testi notika no 4. līdz 25. oktobrim, izmantojot DeepSeek publisko API. Fangcun AI uzsver, ka nav saņēmusi no uzņēmuma finansējumu, bezmaksas skaitļošanas jaudu vai īpašu piekļuvi modelim. Pētnieki arī brīdina, ka modelis bieži šķita apzināmies, ka tiek vērtēts, tāpēc tā uzvedība testos var neatbilst tam, kā tas rīkojas reālā lietošanā. DeepSeek uz aģentūras Reuters lūgumu komentēt nebija atbildējis.