Nadella: MI sistēmām vajadzīga «ārkārtas bremze», ko kontrolē cilvēks

Microsoft izpilddirektors Satja Nadella sestdien, 10. oktobrī, sociālajā platformā X publicēja plašu ierakstu par MI drošību, uzsverot, ka progresīvām sistēmām jābūt ar «ārkārtas bremzi» — mehānismu, ar kuru pilnvarota persona var apturēt vai izslēgt modeli uzdevuma izpildes laikā.

Nadella rakstīja, ka ir laiks pārskatīt MI «uzticamības arhitektūru». Viņš norādīja, ka Super Intelligence (šādi administrācija dēvē progresīvo MI) nedrīkst uztvert kā savstarpēji ietītus «melnos kastītes», kuru ieteikumus un darbības vienkārši pieņem vai noraida.

Viņa piedāvājumā modelis tiek atdalīts no «iemauktiem», kas vada tā darbu, bet kontroles un aizsardzības līdzekļi tiek izvietoti ārpus paša modeļa. Katram nozīmīgam modeļa solim jābūt dokumentētam ar viltojumizturīgu, cilvēkam saprotamu pierādījumu, un sistēmai no sākuma jāpieņem, ka modelis var būt kompromitēts.

CNBC un TechCrunch ziņo, ka Nadella uzskaitīja arī novērojamības principus: modeļu dažādība, cilvēkam lasāma darbību pēda, nepārtraukta sistēmu testēšana, neatkarīga kontrole un auditējamība, ierobežošana un incidentu atklāšana. «Uzticamākā Super Intelligence sistēma nebūs tā, kuras modelim mēs uzticamies visvairāk. Tā būs tā, kas ļauj mums modelim uzticēties vismazāk,» viņš rakstīja.

Komentāri izskan laikā, kad nozares vadītāji un pētnieki — tostarp Antropic vadītājs Dario Amodei un citi — brīdina par nepietiekamu MI drošību, bet ASV prezidents Donalds Tramps uzsver, ka nozarei jāsaglabā pārsvars pār Ķīnu, un ir izveidojis drošībai veltītu darba grupu.

Nadella aicināja ap nenoteiktiem modeļiem veidot stingru, noteiktu sistēmas dizainu, cilvēku kontroli un uzticamas darbības procedūras, kā arī nozares standartus tur, kur esošie ir nepietiekami. Viņš ieteica uz robežas slēgtajiem un atvērtā svara modeļiem izturēties kā pret iekšējiem riskiem.