Hiina ettevõte Alibaba tutvustas oma esimest kehastatud tehisintellekti (AI) mudelite perekonda Qwen-Robot, mis ühendab suured keelemudelid reaalmaailma robotitegevustega. Alibaba Tongyi Labi väljatöötatud komplekti katsetatakse praegu valitud Alibaba Cloudi ärikliendid juures.
Komplekt koosneb kolmest mudelist: Qwen-RobotNav keskendub liikumisele ja navigatsioonile, võimaldades robotitel järgida juhiseid, leida sihtkohti ja toetada autonoomset sõitu. Qwen-RobotManip tegeleb füüsilise suhtlusega ehk esemete haaramise ja liigutamisega, kasutades erinevatest robotsüsteemidest kogutud andmestikku. Qwen-RobotWorld toimib maailmamudelina, ennustades keskkonna muutusi ja tegevuste tagajärgi.
Alibaba selgitas, et kuigi nägemis-keelemudelid (VLM) oskavad kirjeldada ülesande täitmise samme, ei saa nad otseselt robotit juhtida. Väljakutse on ühendada inimkeel ja visuaalne arusaam füüsiliste liigutustega, kuna robotite treeningandmed erinevad oluliselt internetiandmetest.
Demonstratsioonil näidati Qwen-RobotNavi tööd Unitree Go2 nelijalgsel robotil, mida toitis NVIDIA Jetson Thori riistvara ja üks madala lahutusega kaamera. Robot navigeeris edukalt võõras korteris suuliste juhiste järgi ilma eellaaditud kaartideta.