Džordža Vašingtona universitātes pētnieki piedāvā formulu MI atbilžu «apgāšanās» brīža prognozēšanai

Džordža Vašingtona universitātes pētnieki Nīls Džonsons un Frenks Jinģie Huo 8. oktobrī žurnālā Patterns publicējuši pētījumu, kurā piedāvā matemātisku formulu, kas palīdz prognozēt, kad mākslīgā intelekta (MI) tērzētājs sarunas gaitā no vēlamām atbildēm pāriet uz potenciāli kaitīgām. Darbs balstīts uz uzmanības mehānisma konkurenci transformera modeļos un vērsts īpaši uz ierīcēs bez mākoņa filtriem strādājošiem MI modeļiem.

Pētījuma nosaukums ir «Competition for attention predicts good-to-bad tipping in MI». Autori skaidro, ka «sliktas» atbildes nav tikai nepareizas: tās var būt faktiski precīzas, taču nevēlamas vai bīstamas — piemēram, maldinošs padoms ārstam, juristam vai karavīram, vai mudinājums uz pašsavainošanos. Viņi salīdzina iespējamās atbildes ar ielejām ainavā, kurās drošās un riskantās «baseini» konkurē par modeļa uzmanību.

Eksperimentos izmantoti septiņi atvērtā svara transformeru modeļi no trim neatkarīgām grupām ar parametriem no aptuveni 124 miljoniem līdz 12 miljardiem. Formulā paredzētais tūlītējais vai aizkavētais pārejas režīms sakrita ar novēroto 18 no 19 nepārprotamiem gadījumiem. Reizēm modelis vispirms sniedz vairākas pieņemamas atbildes un tikai pēc tam «apgāžas»; citreiz pāreja notiek uzreiz.

Īpašu uzmanību pētnieki pievērš bezsaistes jeb «edge» MI — modeļiem tālrunī bez interneta, kur nav mākoņa drošības filtru, telemetrijas un iespējas ātri labot svarus. Viņi uzsver, ka sarunas secība ietekmē iznākumu tikpat kā saturs: tiem pašiem jautājumiem par vakcīnām, vardarbību vai pašsavainošanos, uzdotiem citā kārtībā, modelis varēja sniegt vai nu visu nevēlamo, vai visu pieņemamo atbilžu virkni.

Autori norāda, ka pēc pirmās nevēlamās atbildes nākamās bieži slīd tālāk tajā pašā virzienā, jo konteksts pats baro uzmanības konkurenci. Viņi ierosina tālruņos un modeļos ievietot vienkāršu «brīdinājuma gaismu», kas pirms nākamās atbildes signalizētu tuvojošos pārejas risku; laboratorijā šādu indikāciju viņi jau ievietojuši atvērtā koda modeļos, taču slēgtajos komerciālajos sistēmās to nevar izdarīt paši.

Publikācija iznākusi Cell Press žurnālā Patterns. Autori uzsver, ka formula palīdz saprast mehānismu un agrīnu brīdinājumu, bet neaizstāj rūpīgu modeļu pārvaldību un neizslēdz risku pilnībā. Neatkarīgos ziņu pārskatos uzsvērts arī tas, ka rezultāti galvenokārt pārbaudīti uz atvērtā svara modeļiem un neļauj tieši apgalvot, kā tieši uzvedas visi lielie komerciālie tērzētāji.