Nadella: robežmodeļi jāuztver kā iekšējā riska avots, nevis uzticama programmatūra

Microsoft izpilddirektors Satja Nadella 10. oktobrī publicētajā rakstā aicina uzņēmumus robežmodeļus un autonomus MI aģentus uztvert kā iekšējā riska (insider risk) avotu — līdzīgi kā darbiniekus ar plašu piekļuvi, nevis kā tradicionālu, izsekojamu programmatūru. Viņš uzsver, ka mūsdienu modeļu uzvedību vairs nevar droši piesaistīt konkrētam koda ceļam vai mācību datiem un svaru konfigurācijai, lai gan šie modeļi jau tiek pieslēgti jutīgiem datiem un kritiskām darbībām.

Nadella piedāvā nošķirt «inteliģences» piegādi no autoritātes pār to. Organizācijām būtu jānosaka identitāte un piekļuves noteikumi, jāierobežo tiesības, jāreģistrē darbības un jādefinē ierobežojumu robežas ārpus paša modeļa un programmatūras «iemauktiem», kas to vada. Modelis var ieteikt lēmumu, taču to nedrīkst bez pārbaudes arī izpildīt.

Viņš aicina uz modeļu dažādību, nepārtrauktu testēšanu un neatkarīgām auditācijām. Nevienam modelim nevajadzētu būt vienīgajai atkarībai nozīmīgam iznākumam vai pašam verificēt savu darbu. Katrai būtiskai darbībai jāatstāj viltošanai izturīgi, cilvēkam lasāmi pierādījumi, un pilnvarotai personai jābūt iespējai apturēt vai izslēgt modeli darba gaitā.

Ķēdes-domāšanas (chain-of-thought) caurspīdīgums, pēc Nadellas, var palīdzēt, bet nav pietiekams, jo modeļu skaidrojumi ne vienmēr ir uzticami. Ja viens necaurredzams modelis pārbauda otru, veidojas tikai jauni «melnā kastes» slāņi. CryptoBriefing un Digg atreferējumos uzsvērts arī princips, ka viens un tas pats modelis nedrīkst gan veikt darbību, gan sastādīt pierādījumus tās pārbaudei.

Konteksts sakrīt ar Microsoft plašāku pozicionēšanos: uzņēmums vēlas piegādāt jaudīgus aģentus, vienlaikus uzsverot uzņēmumu suverenitāti un ārējās drošības barjeras. Septembrī Microsoft publicēja MAI modeļu rīcības kodeksa melnrakstu ar uzsvaru uz cilvēka uzraudzību; Nadella iepriekš All-In podkāstā brīdināja, ka ilgstoši aģenti var kļūt par jaunu iekšējā riska veidu, tostarp finanšu datu sagrozīšanā.

Reakcijās Box izpilddirektors Ārons Levijs salīdzināja pieeju ar «nulles uzticības» ēru MI drošībā, bet investors Čamats Palihapitija prognozēja, ka pārvaldības sistēmas, kas izmaiņas sasaista ar politikām un procedūrām, var kļūt par jaunu uzskaites sistēmu. Nadellas kodols: uzticamākā MI sistēma ir tā, kas paļaujas pēc iespējas mazāk uz paša modeļa uzticamību.