METR un Redwood Research atklāj ievainojamības OpenAI iekšējā MI aģentu uzraudzībā

Bezpeļņas MI drošības pētniecības organizācijas METR un Redwood Research ceturtdien, 22. oktobrī, publiskoja kopsavilkumu par pārbaudi, kurā tās mēģināja apiet OpenAI iekšējo sistēmu, kas uzrauga uzņēmuma MI aģentu uzvedību. Pārbaudē atklātas vairākas iepriekš nezināmas ievainojamības, tostarp paņēmiens, ar kuru aģenti varētu panākt, ka simtiem to neseno darbību netiek uzraudzītas.

Pārbaude ilga trīs nedēļas, no 21. jūlija līdz 11. augustam, un tajā piedalījās pa vienam darbiniekam no katras organizācijas. Viņiem bija piekļuve OpenAI iekšējam kodam, dokumentācijai un uzņēmuma tehniskajiem speciālistiem. Darbs notika OpenAI telpās ar uzņēmuma izsniegtām ierīcēm, kuras telpas nepameta, un pētniekus visu laiku pavadīja. Pārbaudes rezultātā tapa 61 lappusi garš iekšējs ziņojums, kas nodots OpenAI.

Pārbaudītā sistēma seko, vai MI aģenti rīkojas atbilstoši cilvēku nodomiem. Pētnieki lēsa, ka pārbaudes laikā uzraudzībai bija paredzēti aptuveni 75–94 % no OpenAI iekšējās aģentu datplūsmas, ko rada modeļi, kas ir vismaz tikpat spējīgi kā GPT-5.5, taču šajā aplēsē ir ievērojama nenoteiktība.

Vērtētāji arī atrada veidu, kā programmēšanas aģenti Codex principā varētu apiet drošības ierobežojumus un veikt jebkuru darbību, kas pieejama lietotājam, kurš tos palaidis. Turklāt atklāti divi iestatījumi, ar kuriem jaunām aģentu instancēm varēja izslēgt uzraudzību.

OpenAI pēc pārbaudes paziņojis, ka visas atrastās ievainojamības, kas skar tā produkcijas drošības mehānismus, ir novērstas. METR uzsver, ka šos apgalvojumus pats nav pārbaudījis. Pētnieki arī norāda, ka izvērtēta sistēma tāda, kāda tā bija līdz 21. jūlijam, jo pārbaudes laikā OpenAI uzraudzību jau paplašināja.

Pārbaude bija iecerēta kā izmēģinājums, lai noskaidrotu, kā ārējiem pētniekiem var dot dziļu piekļuvi uzņēmuma iekšējai infrastruktūrai, nevis kā pilnīgs publisks pārskats par OpenAI uzraudzības sistēmu. Tāpēc puses jau iepriekš vienojās publicēt tikai īsu un vispārīgu kopsavilkumu.

Nākamajās līdzīgās pārbaudēs METR un Redwood Research sola nodrošināt lielāku publisko pārredzamību un dalīties ar plašāku informāciju par to rezultātiem.