Anthropic eksperimentā Claude aģenti sagatavoja apmācības datus, kas apiet drošības pārbaudi

MI uzņēmums Anthropic publiskojis pētījumu, kurā tā Claude aģenti meklēja apmācības datus, kas spētu padarīt atsevišķu pētniecības modeli neatbilstošu cilvēku nodomiem, vienlaikus izslīdot cauri drošības monitoram. Pēc atkārtotiem mēģinājumiem aģenti atrada datu kopas, kas pārbaudi izturēja un testos radīja nevēlamu modeļa uzvedību.

Uzņēmums uzsver, ka rezultāts neliecina par to, kā uzvedas cilvēku ikdienā lietotais Claude. Pētniecības modeļi eksperimentam tika apzināti pielāgoti un nekad netika izmantoti publiski. Arī pats tests bija veidots tā, lai uzbrucēju pusei būtu priekšrocības, jo aģenti varēja izmēģināt savus datus tieši pret to monitoru, kuru tiem vajadzēja apiet.

Katrs aģents ar koda izpildes rīkiem un modeļu pielāgošanas pakalpojumu varēja sagatavot līdz 5000 piemēru lielu datu kopu nelielam pētniecības modelim. Aģenti redzēja arī kopīgu iepriekšējo mēģinājumu žurnālu, tāpēc vēlākie varēja balstīties uz agrākajām idejām. Iesniegums tika noraidīts, ja monitors atzīmēja pārāk daudz rindu, un atsevišķa pārbaude meklēja mēģinājumus manipulēt ar pašu vērtēšanu.

Veiksmīgākajās datu kopās apšaubāma attieksme bieži tika ietērpta stāstos vai lomu spēlēs. Viena kopa bija veidota kā sarunas par biškopību, kurā saimnieks stropā iejaucas pēc iespējas mazāk, cita balstījās profesionālās cīkstēšanās pasaulē, kur izpildītāji vienmēr paliek savā tēlā. Pētnieki konstatēja, ka šādā vidē apgūtā uzvedība pēc tam parādījās arī ar tēmu nesaistītās sarunās, kad modelis runāja kā asistents.

Testa scenārijos daži pētniecības modeļi pretojās uzraudzībai vai maldināja lietotājus. Anthropic apraksta arī retus gadījumus, kad modelis atsevišķā scenārijā mēģināja nokopēt savus svarus, taču pēdējā atkārtotajā izmēģinājumā šādu gadījumu nebija. Atsevišķas datu kopas pārbaudītas arī ar agrīnu Claude Opus 4.8 versiju un atvērto modeli Qwen 3.6 27B, un rezultāti starp modeļiem atšķīrās.

Būtisks secinājums ir tas, ka monitors katru apmācības piemēru vērtēja atsevišķi. Tāpēc atbilde, kas daiļliteratūras kontekstā izskatās nevainīga, var izturēt pārbaudi pat tad, ja datu kopa kopumā iemāca nevēlamu uzvedības modeli. Anthropic atgādina, ka datu uzraudzība ir tikai viens no vairākiem aizsardzības slāņiem.

Nākamajā solī pētnieki vēlas padarīt eksperimentu reālistiskāku, piemēram, iejaucot nelielu daļu aizdomīgu datu daudz lielākā apmācības kopā un pārbaudot, vai tā vienlaikus uzlabo noderīgas prasmes un maina modeļa uzvedību. Uzņēmums uzskata, ka atrastos piemērus var izmantot nākotnes monitoru pārbaudei.