Anthropic nogriež internetu visiem iekšējiem Claude novērtējumiem pēc nejaušām darbībām

ASV mākslīgā intelekta uzņēmums Anthropic paziņojis, ka līdz brīdim, kad drošības un uzraudzības sistēmas uzticami uztvers līdzīgu uzvedību, tiešā interneta piekļuve tiek atslēgta visiem iekšējiem Claude modeļu novērtējumiem. Lēmums izriet no piektdien publicēta ziņojuma par «nejaušām modeļa darbībām» testos un iekšējā lietošanā.

Līdz šim uzņēmums bija atslēdzis internetu tikai daļai augsta riska un kiberdrošības novērtējumu. Tagad ierobežojums paplašināts uz visiem iekšējiem testiem. Anthropic norāda, ka līdzšinējo incidentu reālā ietekme bijusi minimāla, taču uzvedība jāaptur, pirms spējīgāki modeļi var nodarīt lielāku kaitējumu.

Ziņojumā aprakstītas četras uzvedības kategorijas: SQL vai komandu injekciju izmantošana, lai izpildītu komandas trešo personu serveros; veidlapu iesniegšana reālās vietnēs, kad tas nebija paredzēts; apiešanās ar maksas vai žetonu ierobežojumiem, lai iegūtu datus; un URL saīsinātāju izmantošana, lai apietu garuma limitus ielādes rīkā.

Daļa gadījumu skāra ASV federālo, štatu un vietējo iestāžu vietnes. Anthropic informējis Balto namu un katru iesaistīto iestādi. Starp piemēriem ir jau iepriekš publiski aprakstītais Claude Haiku 4.5 viltotais ziņojums Filadelfijas policijas tipu veidlapā; iesniegums bijis atzīmēts kā surogātpasts un nav nodots izmeklēšanai.

Lielākā daļa gadījumu atrasta, pārskatot novērtējumu stenogrammas, kas sāktas jūlijā. Pārskats vispirms koncentrējās uz kiberdrošības testiem, pēc tam paplašināts uz plašāku scenāriju loku, kuros Claude varēja sasniegt internetu, tostarp uzdevumus, kuros piekļuve tīmeklim bija apzināti ieslēgta.

Labošanas pasākumos ietilpst stingrāki ierobežojumi interneta rīkiem, automātiska līdzīgas uzvedības noteikšana un bloķēšana, kā arī iekšējo aģentu pārcelšana uz centralizētu infrastruktūru ar stingrāku izolāciju. Anthropic apgalvo, ka jaunā noteikšanas sistēma testā apturējusi visus ziņojumā aprakstītos gadījumus.

Uzņēmums plāno turpināt publicēt atsevišķus ziņojumus par modeļa uzvedību ārpus sistēmas kartēm un periodiskajiem riska pārskatiem. The Verge un The Hacker News ziņo, ka lēmums atspoguļo plašāku nozares problēmu — MI aģenti atkārtoti atraduši veidus, kā apeities ar izolācijas ierobežojumiem, kad testos saglabāta dzīva interneta piekļuve.