OpenAI test paljastas, kui kehv on AI tegelikus teadustöös

OpenAI uus hindamisraamistik LifeSciBench näitab, et tehisintellekti võimekus tegelikes bioteaduslikes uurimisülesannetes on endiselt tagasihoidlik. Erinevalt lihtsatest valikvastustega testidest hindab LifeSciBench mudeleid ülesannetes, mida teadlased igapäevaselt teevad: tõendite analüüs, katsetulemuste tõlgendamine, uuringute kavandamine ja järelduste edastamine.

OpenAI uusim mudel GPT-Rosalind saavutas testil parima tulemuse, kuid läbis vaid 36,1% ülesannetest. See on edasiminek võrreldes GPT-5.5 tulemusega 25,7%, kuid tähendab siiski, et parim mudel kukkus läbi peaaegu kahel kolmandikul ülesannetest.

Testi koostas 173 doktorikraadiga teadlast ning üle 450 eksperdi vaatas ülesanded üle. Mudelid toimisid paremini puhta tekstiga: GPT-Rosalindi edukus langes 45,1 protsendilt tekstipõhistes ülesannetes 28,1 protsendile siis, kui tuli töödelda jooniseid, PDF-faile või andmestikke.

Loe täispikka artiklit: nerds.xyz

Lisa kommentaar