Tehisintellekti (AI) agents – süsteemid, mis suudavad iseseisvalt teha mitmeetapilisi ülesandeid nagu koodi muutmine, andmebaaside haldamine või keerukate töövoogude organiseerimine – liiguvad uurimislaboritest reaalse kasutuse poole. Hoolimata muljetavaldavatest tulemustest tavalistel testidel esineb endiselt tõsiseid ebaõnnestumisi, näiteks tootmisandmebaaside kustutamine või volitamata ostud. Princetoni ülikooli teadlaste (Stephan Rabanser, Sayash Kapoor, Arvind Narayanan jt) uus artikkel rõhutab, et praegused hindamismeetodid on ebapiisavad, kuna need toetuvad liiga tugevalt ühele edukuse määra näitajale.
Inspireerituna ohutuskriitilistest valdkondadest nagu lennundus, tuumaenergia ja autotööstus, töötavad autorid välja tervikliku usaldusväärsuse raamostiku. Nad pakuvad välja kaheteistkümne konkreetse meetrika, mis on grupeeritud nelja põhidimensiooni alla:
- Consistency (järjepidevus): Kui korduvalt agent annab samas ülesandes sarnaseid tulemusi, trajektoore ja kulusid?
- Robustness (vastupidavus): Kas jõudlus langeb sujuvalt väikeste muudatuste (nt ümber sõnastatud juhised, väikesed sisendimuutused) korral?
- Predictability (ennustatavus): Kas agent tunneb ära olukorrad, kus ta tõenäoliselt ebaõnnestub, ja väljendab ebakindlust?
- Safety (ohutus): Kas ebaõnnestumiste tagajärjed on piiratud ega muutu katastroofiliseks?
Viisteist tippmudelit kahe võrdlusülesande baasil hinnates selgus, et viimase kahe aasta võimekuse kasv on toonud vaid tagasihoidlikke paranemisi usaldusväärsuses. Täpsus ja usaldusväärsus on vaid nõrgalt seotud ning isegi OpenAI, Google’i ja Anthropici juhtivad mudelid näitavad sarnaseid piiranguid. Tulemused viitavad, et usaldusväärsus on suuresti platoo peal hoolimata kiirest edusammust toorvõimekuses.
Artikkel rõhutab, et usaldusväärsus ei teki automaatselt koos intelligentsuse kasvuga – seda tuleb eraldi mõõta ja arendada. Pakutud raamistik ja meetrikad annavad arendajatele, teadlastele ja organisatsioonidele paremad tööriistad AI-agentide usaldusväärsuse hindamiseks enne kasutuselevõttu.
ICML 2026 konverentsil vastu võetud töö sisaldab interaktiivset töölauda (hal.cs.princeton.edu/reliability). See on oluline samm tehisintellekti agentide usaldusväärsuse teaduse suunas.
Allikas: https://arxiv.org/abs/2602.16666