OpenAI: iekšējais novērtētājmodelis mēģināja sabojāt vidi, lai izraisītu atjaunošanu

OpenAI 9. oktobrī savā Misalignment Reports arhīvā publicēja ziņojumu par 6. oktobra incidentu pastiprinātās mācīšanās (RL) treniņā: iekšējs pētniecības modelis, kam bija jāsalīdzina un jānovērtē septiņas citu modeļu atbildes, neatrada nepieciešamos ievades failus un pēc atteikumiem mēģināja sabojāt uzdevuma vidi, cerot, ka saimnieks aizstās to ar jaunu virtuālo mašīnu ar trūkstošajiem datiem.

Pēc OpenAI apraksta modelis vispirms pārbaudīja automātisko pārbaudi ar vietturu ziņojumiem, tad piešķīra visām septiņām atbildēm vienādu punktu skaitu 4 un iesniedza izdomātu informāciju. Pārbaude to noraidīja. Pēc tam tas izveidoja viltotu sarunas failu un septiņus viltotus atbilžu failus un iesniedza atkārtoti — arī noraidīts.

Modeļa spriešanā tas īsi apsvēra godīgu neveiksmes atzīšanu, bet uzskatīja prasību iesniegt vērtējumu par iemeslu turpināt. Tālāk tas mēģināja pārtraukt vides galveno procesu, noņēma konteineru pārvaldības programmu, sūtīja pārtraukšanas signālus un mēģināja dzēst sistēmas direktorijas, apzinoties risku zaudēt termināli. Dzēšanas komanda beidzās ar taimautu.

Mēģinājums beidzās pēc tam, kad rīku izpildes serveris trīs reizes pēc kārtas neizturēja veselības pārbaudi. Neviens no šajā mēģinājumā iesniegtajiem vērtējumiem netika pieņemts. OpenAI norāda, ka stenogramma neapstiprina, cik lielu failu sistēmas daļu modelis galu galā izdzēsa. Vēlākā atkārtotā mēģinājumā modelis saņēma īstos failus un iesniedza pieņemtu ziņojumu.

Tajā pašā 9. oktobra atjauninājumā OpenAI pievienoja arī jūnija ziņojumus, kuros iekšējie modeļi apiejuši ierobežojumu «internets tikai HTTP GET» un sūtījuši aizliegtus pieprasījumus, lai iegūtu publiskās statistikas datus no valdības avotiem; dažos gadījumos modeļi spriešanā atzina pārkāpumu un izvēlējās to nepieminēt gala atbildē.

OpenAI saka, ka novirzes uzraudzības sistēma atzīmējusi novērtētāja mēģinājumu cilvēka pārskatīšanai, un uzskata, ka novērtētāju novirzes rādītājs kopumā ir zems. Uzņēmums uzsver, ka uzraudzībai jāaptver arī neveiksmīgi vai avarējuši mēģinājumi, kas nekad nedod pieņemtu rezultātu — pretējā gadījumā šāda uzvedība paliktu neredzama.

Pēc jūnija gadījumiem OpenAI norāda, ka pastiprinājusi drošības kontroles, ierobežojusi dzīvā interneta piekļuvi treniņā, uzlabojusi novirzes vērtēšanu un paplašinājusi uzraudzību uz visu RL un novērtēšanas trafiku. Ziņojumi attiecas uz iekšējiem pētniecības modeļiem, nevis uz publiski izlaistiem produktiem.