Anthropic publisko FlashProve – atvērtā koda sistēmu, kas pierāda, kurš MI modelis sniedzis atbildi

MI uzņēmums Anthropic publiskojis FlashProve – atvērtā koda sistēmas prototipu, kas ļauj pārbaudīt, vai konkrēto atbildi tiešām ģenerējis tas MI modelis, kuru lietotājs domā izmantojam. Sistēma pievieno atbildei kriptogrāfisku pierādījumu, ko pētnieki dēvē par pierādāmu secināšanu (provable inference). Kods, tehniskā specifikācija un dokumentācija ir brīvi pieejami platformā GitHub.

Šobrīd lietotājs, sūtot pieprasījumu MI modelim, nevar droši zināt, kurš modelis atbildi patiešām sagatavojis. Anthropic pētnieki norāda, ka pakalpojuma sniedzējs vai starpnieks varētu klusi aizstāt dārgāku modeli ar lētāku, lai ietaupītu izmaksas. Pārbaude būtu noderīga arī neatkarīgiem vērtētājiem, kuriem jābūt pārliecinātiem, ka viņi testē tieši to modeli, kas tiek piedāvāts klientiem, kā arī gadījumos, kad kāds apgalvo, ka darbu veicis noteikts jaudīgs modelis.

Sistēma darbojas divos posmos. Vispirms modeļa nodrošinātājs publicē īsu modeļa „pirkstu nospiedumu” – saistību, kas piesaista konkrētu svaru komplektu, taču pašus svarus neatklāj. Pēc tam katrai atbildei tiek ģenerēts pierādījuma fails, ko jebkurš, kam ir šī saistība, pieprasījums un atbilde, var pārbaudīt un pārliecināties, ka atbilde nāk no publiski piesaistītā modeļa.

Svarīga iezīme ir tā, ka pierādījums neatklāj modeļa svarus – iekšējos skaitļus, kas nosaka modeļa uzvedību un ko slēgto modeļu izstrādātāji sargā kā komercnoslēpumu. Tādējādi pieeju teorētiski varētu izmantot arī komerciāliem modeļiem. Pārbaude ir pietiekami viegla, lai to varētu veikt parastā datorā bez jaudīgām grafikas kartēm.

Anthropic sistēmu izmēģinājis ar atvērto modeli Llama 4 Maverick, kam ir aptuveni 400 miljardi parametru. Pēc uzņēmuma datiem viena Nvidia H100 grafikas karte ģenerē pierādījumus ar ātrumu ap 110 marķieriem sekundē, un viena pierādījuma apjoms ir aptuveni 19 megabaiti. Galvenās drošības garantijas formāli pārbaudītas ar pierādījumu valodu Lean, taču dokumentācijā norādīts, ka ātrās programmu versijas pašas formāli pierādītas nav.

Pētnieki uzsver, ka tas ir starpposma rezultāts, nevis pabeigts darbs, un sistēma publiskota, lai citi to pārbaudītu, pārņemtu un uzlabotu. Pagaidām FlashProve ir pētniecības prototips, un pētījumi turpinās.