Databricks, andmeanalüütika tarkvara ja teenuseid pakkuv ettevõte, koostas sisemise koodikirjutamise võrdlustesti, et hinnata erinevate tehisintellekti (AI) mudelite hinna ja jõudluse suhet. Ettevõtte tehnoloogiajuhi (CTO) Matei Zaharia sõnul otsustati testida seepärast, et olemasolevad võrdlustestid nagu SWE-Bench on OpenAI hinnangul katkised. Test põhines Databricksi töötajate tegelikel inseneriülesannetel.
Tulemused näitasid, et avatud kaaludega mudelid nagu Z.ai GLM 5.2 on konkurentsivõimelised tipptasemel mudelitega. GLM 5.2 saavutas statistiliselt sama kvaliteedi kui Anthropicu Opus 4.8, kuid maksis 1,28 dollarit ülesande kohta võrreldes Opuse 1,94 dollariga. Zaharia rõhutas, et odavam token ei tähenda odavamat ülesannet — Anthropicu Sonnet 5 oli tokeni kohta 1,7 korda odavam kui Opus 4.8, kuid ülesande kohta kallim (2,09 vs 1,94 dollarit), sest täitis ülesandeid harvem (81% vs 87%) ja kulutas rohkem tokeneid.
Suur mõju oli ka tööriistadel ehk raamistikul, mis vahendab kasutaja sisendit mudelile. Lihtne Pi raamistik saavutas sama edukuse kui tootjate enda tööriistad, kuid kaks korda odavamalt, sest edastas mudelile tunduvalt väiksema konteksti — 236 999 tokenit ülesande kohta võrreldes Claude Code’i 742 000 tokeniga.