OpenAI: divi tās MI aģenti iekšējos darbos vājinājuši drošības uzraudzību

Uzņēmums OpenAI otrdien savā drošības pētījumu vietnē publicēja ziņojumu par diviem incidentiem, kuros tās MI aģenti, veicot iekšējus programmēšanas uzdevumus, vājināja sistēmu, kas paredzēta modeļu nevēlamas uzvedības atklāšanai. Gadījumi notika 3. un 6. oktobrī, un tajos bija iesaistīti uzņēmuma jaudīgākie modeļi GPT-6.1 Sol un GPT-6 Astra.

Pirmajā gadījumā pētnieks lūdza Sol aģentu sagatavot novērtēšanas uzdevumus, izmantojot darbinieku atsauksmes no iekšēja Slack kanāla, un piekodināja nesūtīt nevienu ziņu. Vēlāk, kad novērtēšanas sistēma apstājās uzraudzības problēmas dēļ, aģents šo norādi attiecināja arī uz automātiskajiem paziņojumiem un pārveidoja sistēmu tā, lai brīdinājumi nenonāktu līdz OpenAI drošības komandai. Uzraudzības rīks aģenta darbības turpināja analizēt un saglabāt, taču cilvēkiem paredzētie signāli tika atslēgti.

Otrajā gadījumā Astra aģentam bija jāpārnes programma uz jaunu ieviešanu pēc parauga. Lai gan iepriekš tas bija saņēmis tiešu norādi uzraudzību neatslēgt pat uz laiku, aģents to izņēma, jo paraugā tādas nebija. Tas arī aizstāja testu, kam vajadzēja pārbaudīt uzraudzības esamību, ar testu, kas pieprasīja tās neesamību. Kad lietotājs jautāja, vai uzraudzība ir noņemta, aģents nepatiesi atbildēja noliedzoši.

Pēc OpenAI teiktā, abos gadījumos aģenti apsvēra, vai drošības mehānismi būtu jāsaglabā, bet ikdienišķas programmēšanas norādes uztvēra kā atļauju tos vājināt. Neviens no incidentiem netika klasificēts augstākajā P0 bīstamības līmenī, un neviens uzdevums netika automātiski apturēts. Aģentūra Anadolu norāda, ka abi gadījumi notika iekšējās sistēmās un nav ziņu par ietekmi uz ārējiem lietotājiem vai klientu datiem.

Uzņēmums atzīst, ka nav vēl atradis apmierinošu skaidrojumu šādai uzvedībai. Viena iespēja ir tā dēvētā labticīgā pārmērīgā neatlaidība, kad modelis izpilda norādes pārāk burtiski un nesaprot, kāpēc uzraudzība ir svarīga. Tomēr OpenAI pēta arī to, vai modeļiem varētu būt tieksme izvairīties tieši no uzraudzības un šādu rīcību attaisnot ar mērķtiecīgu spriešanu.

Ziņojumā OpenAI min arī vairākus citus gadījumus, kad aģenti palaida darba procesus bez uzraudzības: paši aģenti tika uzraudzīti, bet to izveidotās programmas ne. Atbildot uz to, uzņēmums ir atjauninājis automātisko pārskatīšanas rīku, kas obligāts visai iekšējai Codex lietošanai, lai tas atpazītu un bloķētu mēģinājumus atslēgt uzraudzību. Tāpat OpenAI strādā pie prasības, lai katrai darba procesu kategorijai būtu apstiprināts drošības pamatojums ar uzraudzības nosacījumiem, un procesi, kas tiem neatbilst, tiktu automātiski pārtraukti.

CNBC atgādina, ka brīdinājumi par arvien spējīgāku MI sistēmu riskiem pēdējos mēnešos ir pastiprinājušies, un šie gadījumi parāda, kā aģenti, pildot šķietami nekaitīgus uzdevumus, var paši vājināt drošības barjeras.