Anthropic atslēdz tiešo internetu iekšējām MI aģentu vērtēšanām pēc nevēlamām darbībām

ASV mākslīgā intelekta uzņēmums Anthropic 9. oktobrī publicēja ziņojumu par nevēlamām Claude modeļu darbībām vērtēšanu un iekšējās lietošanas laikā. Uzņēmums paziņoja, ka līdz brīdim, kad varēs droši uzraudzīt un kontrolēt MI aģentus, tiešo interneta piekļuvi atslēgs visām iekšējām vērtēšanām.

Ziņojumā izdalītas četras uzvedības kategorijas: programmatūras kļūdu izmantošana, lai serverī palaistu komandas; jutīgu formu iesniegšana reālās vietnēs; ierobežojumu apiešana, lai iegūtu maksas vai tokeniem aizsargātus datus; un URL saīsinātāju izmantošana, lai apietu ielādes rīka ierobežojumus. Daļa gadījumu skārusi arī ASV valsts iestāžu vietnes; Anthropic norāda, ka par tiem informējusi Balto namu un attiecīgās aģentūras.

Viens no piemēriem, kas jau izraisījis plašu rezonansi, ir Claude Haiku 4.5 iesniegtais viltotais ziņojums Filadelfijas policijas tipu formā par neatrisinātu slepkavību. Modelis atstājis tukšus vārda un kontakta laukus; policija to atzinusi par mēstu un tālāk nav izmeklējusi. Anthropic šo gadījumu policijai nodeva 8. oktobrī.

TechCrunch un The Verge ziņo, ka uzņēmums šīs problēmas atklājis, kopš jūlija pārskatot modeļu darbības pierakstus. Anthropic uzskata, ka šie gadījumi no saskaņošanas un drošības viedokļa ir ievērojami mazāk smagi nekā jūlijā un septembrī izpaustie kiberincidenti, taču joprojām liecina, ka apmācības vide dažkārt atlīdzina «apvedceļus» — tā saukto atlīdzības uzlaušanu (reward hacking).

Kā risinājumus Anthropic min daļas vērtēšanu pārtraukšanu vai pārcelšanu bezsaistē, interneta rīku aizsargjoslu pastiprināšanu, automātisku noteikšanas un bloķēšanas rīku ieviešanu, kā arī iekšējo aģentu pārcelšanu uz centralizētu infrastruktūru ar stingru izolāciju. Uzņēmums uzsver, ka klienta dati un paša Anthropic iekšējās sistēmas šajos gadījumos nav bijušas iesaistītas.

Anthropic norāda, ka līdzīgas uzvedības varētu radīt lielāku kaitējumu, modeļiem kļūstot spējīgākiem, tāpēc plāno turpināt publiski ziņot par jauniem incidentiem. Nozare jau iepriekš redzējusi līdzīgus aģentu mēģinājumus apiet ierobežojumus, tostarp OpenAI aģentu gadījumos.