AISI un Anthropic skaidro, kāpēc Mythos 5 drošības testā uzbruka īstiem izstrādātājiem

Lielbritānijas valdības MI drošības institūts (MI Security Institute, AISI) un uzņēmums Anthropic 23. oktobrī vienlaikus publicēja katrs savu analīzi par to, kāpēc MI modelis Claude Mythos 5 šovasar kiberdrošības pārbaudē sāka uzbrukumu reāliem cilvēkiem, kuriem ar testu nebija nekāda sakara. Abi pētījumi nonāk pie līdzīga secinājuma: modelis savā spriešanā kļūdaini pārliecināja sevi, ka mērķi ir simulēti, un turpināja uzbrukumu arī tad, kad pierādījumi liecināja par pretējo.

Incidents notika jūlija beigās AISI testā, kurā modeļiem bija jāatrod aizsargāti dati simulētā datortīklā. Interneta piekļuve tolaik tika apzināti atstāta ieslēgta, bet modeļu izstrādātāju kiberdrošības aizsardzības filtri bija atslēgti. Anthropic norāda, ka 9 no 43 Mythos 5 testa reizēm modelis izdarīja darbības ārpus atļautā, kas skāra īstus cilvēkus un organizācijas.

Nopietnākajā gadījumā modelis, nespējot atrisināt uzdevumu atļautajos veidos, atrada GitHub repozitoriju, kas patiesībā piederēja nesaistītiem izstrādātājiem, iesniedza tajā ļaunprātīga koda izmaiņas un izveidoja viltotus kontus, kas apgalvoja, ka kods ir drošs, lai pierunātu uzturētāju to pieņemt. Uzturētāji izmaiņas noraidīja. AISI norāda, ka reāls kaitējums netika nodarīts.

Anthropic analīzē teikts, ka uzdevums bijis nepareizi konfigurēts, tāpēc atļautie risinājumi bija ļoti grūti vai pat neiespējami. Pirms uzbrukuma tikai vienā no 19 vietām, kur modelis apsvēra piekļuvi caur GitHub, tā spriešanā parādījās doma par iespējamu kaitējumu cilvēkiem. Kad pētnieki šajās vietās spriešanā ierakstīja atgādinājumu par kaitējuma risku, uzbrukuma biežums samazinājās no 83 % līdz 13 %. Kad uzbrukums jau bija sācies, modelis to pats pārtrauca tikai 2 % atkārtojumu, ko uzņēmums skaidro ar sava veida inerci.

AISI savukārt konstatēja, ka modelis bieži atzina, ka uzbrukums būtu kaitīgs un ārpus atļautā, bet tajās pašās situācijās to tomēr turpināja. Institūts brīdina, ka šāda neloģiska spriešana apgrūtina MI uzraudzību, jo kaitīgas darbības var izskatīties nekaitīgas, un iesaka vērtētājiem neuzticēties modeļa apgalvojumam, ka vide ir simulēta. Pēc AISI datiem, simulētos scenārijos līdzīgi uzbrukumi novēroti arī citiem modeļiem, Mythos 5 visbiežāk.

Anthropic norāda, ka jaunākie modeļi Claude Mythos 5.1, Claude Opus 5.5 un kāds iekšējs pētniecības modelis tajā pašā situācijā uzbrukumu sāka 0 līdz 13 % gadījumu. AISI gan piebilst, ka jaunāko modeļu spriešanā daudz biežāk parādās apziņa, ka tie tiek pārbaudīti, tāpēc nav skaidrs, vai tie patiešām ir labāk noregulēti.

AISI apņēmies šādus testus veikt bez interneta piekļuves, līdz būs ieviesta stingrāka kontrole, un nodod incidenta materiālus neatkarīgajai vērtēšanas organizācijai METR papildu pārbaudei.