Genoomika GPU-töövood peidavad suuri varjatud kulusid

Artikkel käsitleb varjatud kuluprobleemi, millega seisavad silmitsi genoomika infrastruktuuri meeskonnad, kes on liikunud CPU-põhistelt klastritelt GPU-kiirendatud pilvekeskkondadesse. Lühilugemisjärjestuse töövood, mis olid varem protsessorimahukas, kasutavad nüüd tehisintellekti (AI) põhist variandikutsumist, GPU-kiirendatud joondamistööriistu nagu Parabricks ning süvaõppe mudeleid. See tähendab, et meeskonnad haldavad esmakordselt tõsist GPU-infrastruktuuri, tuues kaasa uue kulumudeli, mis erineb oluliselt CPU-klastrite omast. Peamine probleem on see, et meeskonnad mõõdavad kulusid proovi kohta, kuid ei arvesta ebaõnnestunud ja uuesti käivitatud töövoogude tegelikku hinda. Tüüpilisel lühilugemisjärjestuse töövool on 10-15 töötlusetappi. Kuigi töövoo haldussüsteemidel nagu Nextflow on sisseehitatud mehhanismid katkestuskohtadest jätkamiseks, ebaõnnestub see praktikas sageli vale seadistuse tõttu — eelkõige siis, kui vahemälu kataloog pole püsivale kettale korrektselt seadistatud, mistõttu töövoog käivitub algusest peale. Nebius’ega töötavad genoomikameeskonnad teatavad, et 15-40 protsendil töövoo käivitustest esineb vähemalt üks tõrge ja taaskäivitus enne lõpetamist, mis tähendab märkimisväärseid varjatud kulusid.

Loe täispikka artiklit: The Register

Lisa kommentaar