Po informacijah, ki jih je objavila NVIDIA, je Cosmos 3 prvi popolnoma odprt omnimodalni fizični AI temeljni model na svetu. Zgrajen na osnovi NVIDIA-eve lastniške hibridne Transformer arhitekture, model integrira ve branches o razlogovanju in generiranju, kar omogoča vizualno razlogovanje, generiranje svetov in napovedovanje dejanj v enem samem modelu. Zmožen je natančno reproducirati fizična pravila v resničnem svetu, kot so gravitacija, trki in trenje. Za razliko od splošnih multimodalnih modelov, ki so predvsem zasnovani za generiranje zabavnih vsebin, Cosmos 3 nativno podpira vhod in generiranje petih modalitet: besedilo, slike, video, ambientni zvok ter človeške in robotske gibe. Prednaučen na velikih fizično anotiranih podatkovnih nizih, model lahko avtonomno generira realistične scene in premike, ki sledijo zakonom fizičnega sveta.
Uradne informacije kažejo, da je Cosmos 3 načrtovan v več različnih modelnih nivojih. Super različica, s večjimi parametri, je zasnovana za avtomobilske proizvajalce in podjetja humanoidne robotike za obsežno sintezo podatkov in razvoj naprednih algoritmov. Osnovna različica cilja na mala in srednje velika R&D moštva v različnih industrijah, medtem ko je Tiny različica optimizirana za lokalno uvedbo na robnih in vgrajenih strojnih napravah. NVIDIA je popolnoma odprla uteži modela, izvorno kodo in podporne evalvacije podatkovne nize, pri čemer so zadevni viri na voljo na odprtih platformah, kot sta Hugging Face in GitHub. Globalni razvijalci lahko do virov dostopajo brezplačno in jih po potrebi prilagodijo. Glede učinkovitosti uvedbe NVIDIA pravi, da lahko model zmanjša tradicionalne simulacijske in napakadne cikle za robotiko, avtonomno vožnjo in industrijske digitalne blizance iz več mesecev na le nekaj dni, kar pomaga zmanjšati stroške zbiranja podatkov in testiranja za razvoj fizičnega AI.
Ob napovedi izdelka je NVIDIA prav tako razkrila svojo strategijo ekosistema z oblikovanjem NVIDIA Cosmos Coalition, globalne zveze za sodelovanje. Ustanovni člani vključujejo vodilne AI laboratorije in podjetja za robotiko, kot so Agile Robots, Black Forest Labs, Runway, LTX in Skild AI. V okviru sodelovanja koalicije lahko članice delijo celotno tehnološko skladišče Cosmos 3, dostopajo do računalniških virov NVIDIA DGX Cloud po potrebi ter izmenjujejo algoritme, benchmarke in podatke o testiranju v resničnem svetu industrije. Zveza si prizadeva za skupni razvoj skupnih standardov za odprte svetovne modele in pospeševanje iteracij in komercializacije tehnologij naslednje generacije fizičnega AI.
Javno dostopne informacije nakazujejo, da so številni avtomobilski proizvajalci in proizvajalci avtomatizacijske opreme že začeli notranje testiranje projektov, temelječih na Cosmos 3. Potencialni scenariji uvedbe vključujejo razvoj humanoidnih robotov, simulacijo avtonomne vožnje, industrijski vizualni pregled in ustvarjanje realistične digitalne vsebine.