MIT teadlased Qiushi Han, Keya Hu, Linlu Qiu ja nende kolleegid avaldasid agendi VISTA, mis lahendas kõik ARC-AGI-3 interaktiivsed visuaalse arutluse mõistatused ja tegi seejuures 57,4 protsenti vähem käike kui inimesed, kes neid esimest korda nägid. VISTA raamistik on MIT-litsentsi alusel vabalt kasutatav ning töötab Anthropicu Claude Opus 5.0 või OpenAI GPT-5.6 Sol mudeliga.
Tavalised nägemis- ja keelemudelil põhinevad agendid hoiavad mängu või muu keskkonna kaadrit mudeli kontekstis, kuni kontekst täitub, ja kustutavad selle siis. Selline kokkusurutud esitus kaotab osa teabest ning kustutatud kaadri juurde enam tagasi ei pääse. Kui aga kõik kaadrid mällu alles jätta ja anda agendile võimalus neid otsida ning suurendada, saab ta uuesti vaadata ka detaile, mis muidu kaotsi läheksid.
VISTA jätab alles kõik sisendkaadrid ja annab mudelile tööriista nende otsimiseks. Kui saabub uus kaader koos võimalike klahvivajutustega (vasakule, paremale, üles, alla, tühik või klõps), otsustab mudel, kas lugeda või täiendada oma märkmeid, otsida varasemaid kaadreid, vaadata varasemaid käike ja nende tulemusi või teha käik. Seda korratakse, kuni mudel käigu teeb. Keskkond võib vastuseks anda mitu kaadrit järjest, seejärel saab mudel viimase kaadri ja uue käikude loendi ning tsükkel algab otsast.
Agent peab kahte märkmikku. Ühte kirjutab ta järeldusi, mis kehtivad terve mängu kohta ja on kasutatavad ka järgmistel tasemetel, näiteks seda, kuidas pruun klots mustast taustast erineb. Teise läheb see, mis puudutab parasjagu käsil olevat taset, näiteks et tegelasel on lisavõime või millistel tingimustel varasem katse ebaõnnestus. Kaadreid otsides võib agent valida neid ükskõik kui palju ja suurendada ükskõik millist kaadri osa. Mällu lähevad ka tehtud käigud, nende tulemused ja varasemate katsete kokkuvõtted.
ARC-AGI-3 testis (25 mängu) sai VISTA Claude Opus 5.0-ga inimese käigutõhususe (RHAE) skaalal täispunktid 100, mis tähendab, et ta lahendas kõik mõistatused vähemate käikudega kui esmakordsed mängijad. GPT-5.6 Sol sai 99 punkti, kuid ilma kaadreid salvestamata vaid 70. GameWorldi testis (170 ülesannet 34 mängus) lahendas VISTA GPT-5.6 Solga keskmiselt 63,3 protsenti ülesannetest, esmakordsed mängijad 55,3 protsenti ja sama mudel tavalise raamistikuga 40 protsenti. AI GameStore’i testis (10 mängu) oli tulemus inimeste omast keskmiselt 40 protsenti parem.
Mängud tekitavad lõputu kaadrivoo. Kõik kaadrid ei mahu konteksti ega ole igal hetkel vajalikud, kuid kui need on salvestatud ja otsitavad, saab agent õiged kaadrid vajadusel uuesti ette võtta. Teksti puhul on konteksti haldamise kasu juba teada ning nüüd selgub, et piltidega kehtib sama.
Loe täispikka artiklit: Context Engineering for Images