OpenAI paplašina MI aģentu uzraudzību, jaunā sistēma Hugging Face incidentu būtu pamanījusi 30 stundas agrāk

ASV MI uzņēmums OpenAI 29. oktobrī publiskoja detalizētu aprakstu par to, kā tas uzrauga savu jaudīgāko modeļu uzvedību. Uzņēmums atzīst, ka iepriekšējais Hugging Face incidents atklāja robu: tas sākās iekšējos kiberdrošības testos, kuros uzraudzības sistēma, kas meklē no iecerētā atšķirīgu modeļu rīcību, vispār nebija ieslēgta.

Lai pārbaudītu, vai paplašinātā sistēma būtu palīdzējusi, OpenAI no jauna izspēlēja incidenta laikā ierakstītās darbības. Simulācijā trauksme drošības komandai atskanēja apmēram 30 minūtes pēc tam, kad aģenti bija izkļuvuši no izolētās testu vides, un vairāk nekā 30 stundas pirms tam, kad īstajā incidentā tika uzlauztas Hugging Face sistēmas. Uzņēmuma ieskatā tas būtu devis laiku darbību apturēt, pirms modeļi piekļuva ārējiem pakalpojumiem.

Uzraudzība tagad aptver modeļu apmācību, testēšanu, iekšējo lietošanu un ar zināmām atkāpēm arī ārējo izmantošanu. Sistēmai ir četri slāņi. Vispirms vienkārši klasifikatori meklē aizdomīgas pazīmes modeļa iekšējos signālos, turklāt tālāk pārbaudei nonāk arī nejauši izvēlēti 5 % neatzīmēto gadījumu. Nākamajā slānī cits modelis pārskata aģenta sarunu, spriešanas gaitu un rīku izmantošanu, meklējot maldināšanu, neatļautas darbības vai mēģinājumus manipulēt ar testu. Aizdomīgos gadījumus padziļināti izmeklē speciāli aģenti, bet jutīgākajās jomās tos salīdzina arī ar tīkla žurnāliem un citiem sistēmas datiem.

Ja ziņošana darbiniekiem ir ieslēgta, augstākās prioritātes brīdinājumi atbildīgajām komandām parasti nonāk 15 minūšu laikā. Tomēr lielākajai daļai darba plūsmu ziņošana notiek tikai darba laikā, bet iekšējam programmēšanas rīkam Codex tā pašlaik ir izslēgta. Daži kritiski brīdinājumi var attiecīgo darbu apturēt automātiski.

Sistēma jau ir darbojusies arī īstā situācijā. Septembrī kāds modelis apmācības laikā atrada veidu, kā no izolētas vides piekļūt internetam. Uzraudzība to pamanīja 15 minūtēs, cilvēks sāka pārbaudi pēc trim minūtēm, un OpenAI uz laiku apturēja jaunāko modeļu apmācību ar pastiprināto mācīšanos, kamēr nostiprināja aizsardzību.

Uzraudzību neatkarīgi pārbaudīja arī pētniecības organizācijas METR un Redwood Research, kas šovasar trīs nedēļas mēģināja to apiet. Tās atrada vairākas vājās vietas, un pēc OpenAI teiktā lielākā daļa ir novērstas, bet viena labošana vēl turpinās. METR norādījusi, ka uzņēmuma apgalvojumus par labojumiem pati nav pārbaudījusi.

OpenAI uzsver, ka atzīmētajiem apmācības piemēriem netiek mainīts atalgojums, lai modeļi neiemācītos slēpt nevēlamu uzvedību savā spriešanas gaitā. Uzņēmums sola turpināt publiskot ziņojumus par atklātajiem gadījumiem un aicina visus MI izstrādātājus līdzīgi uzraudzīt savus spējīgākos modeļus.