Google tutvustas DiffusionGemmat – tekstimudel, mis kasutab pildigenereerimisvõtteid

Google’i DeepMind meeskond esitles eksperimentaalset keelemudelit DiffusionGemma, mis rakendab tehisintellekti pildigenereerimisel kasutatavaid hajutusmudeli (diffusion model) võtteid tekstiväljundi kiirendamiseks. Mudel suudab tarbijataseme riistvaral töötades olla kuni 4 korda kiirem kui tavalised suurkeelemudelid. Käivitamiseks piisab 18 GB mälust ning mudel on vabalt allalaaditav Apache 2.0 litsentsi alusel, näiteks Hugging Face’i platvormilt.

Erinevalt tavalistest autoregressiivsetest keelemudelitest, mis genereerivad teksti märk-märgilt, loob DiffusionGemma korraga terve lõigu jagu märke – alustades juhuslike märkide “lõuendist” ja täpsustades neid sammhaaval, sarnaselt sellele, kuidas Stable Diffusion või Flux muudavad müra pildiks. 26 miljardi parameetriga mudel on ekspertide segamudel (MoE).

Põhiline eelis on kiirus: ühe Nvidia H100 peal on DiffusionGemma ligikaudu 4 korda kiirem kui Gemma 4 26B-A4B. Samas jääb mudel täpsuse poolest Gemma 4 12B-le alla GPQA-Diamond võrdlustestis. Google positsioneerib mudelit kohaliku kasutuse jaoks, kuna hajutusmudelid kasutavad rohkem arvutusvõimsust kui mäliribalaiust, mis sobib hästi tarbijataseme graafikakaartidele.

Loe täispikka artiklit: The Register

Lisa kommentaar