在具身智能領(lǐng)域，實現(xiàn)通用復(fù)雜任務(wù)的核心在于構(gòu)建完善的世界模型，但當前大多數(shù)世界模型存在明顯短板——它們往往在特定硬件平臺上訓(xùn)練，缺乏跨具身遷移能力。這種局限性導(dǎo)致機器人學到的更多是“特定設(shè)備如何運動”，而非“物理世界如何運作”。為突破這一瓶頸，英偉達GEAR實驗室提出名為DreamZero的創(chuàng)新方案，通過構(gòu)建基于視頻擴散模型的“世界動作模型”（WAM），為機器人領(lǐng)域帶來突破性進展。

DreamZero采用140億參數(shù)的自回歸視頻擴散架構(gòu)，通過聯(lián)合預(yù)測未來視頻幀與機器人動作，實現(xiàn)對物理規(guī)律的深度建模。與傳統(tǒng)視覺-語言-動作（VLA）模型不同，該方案直接以視頻作為世界狀態(tài)的稠密表示，無需依賴重復(fù)示范即可從異構(gòu)數(shù)據(jù)中學習多樣化技能。實驗室負責人Jim Fan將其類比為機器人領(lǐng)域的“GPT-2時刻”——研究人員僅需輸入文本指令，機器人即可執(zhí)行從未見過的任務(wù)，相關(guān)代碼已在GitHub開源。

實驗數(shù)據(jù)顯示，在真實機器人場景中，DreamZero的泛化能力較現(xiàn)有最先進VLA模型提升超2倍。面對完全未出現(xiàn)的任務(wù)（如解鞋帶、握手），其仍能達成39.5%的任務(wù)完成度，而傳統(tǒng)模型因過度擬合“抓取-放置”等主導(dǎo)訓(xùn)練行為，在新任務(wù)上表現(xiàn)乏力。研究團隊通過6種測試場景驗證模型能力：在AgiBot預(yù)訓(xùn)練中，模型在未見對象的新環(huán)境中取得62.2%的平均進度；在異構(gòu)數(shù)據(jù)集DROID上，面對未出現(xiàn)動詞的任務(wù)仍保持49%的完成度；經(jīng)過任務(wù)特定微調(diào)后，模型在疊襯衫、裝水果等場景中仍保持跨環(huán)境泛化能力。

跨具身遷移是該模型的核心突破。實驗表明，僅需10-20分鐘的人類或機器人視頻示范，DreamZero即可在全新任務(wù)上提升超42%性能；更驚人的是，通過30分鐘“玩耍數(shù)據(jù)”（55條軌跡）即可適配全新機器人，同時保持零樣本泛化能力。這種效率較傳統(tǒng)需要數(shù)百小時示范的方法提升數(shù)十倍，且無需針對新機器人進行大規(guī)模重訓(xùn)。在交互式提示測試中，機器人能根據(jù)人類自然語言指令，在開放場景中完成扇漢堡、按電梯按鈕等復(fù)雜操作。

為解決視頻擴散模型實時控制難題，研究團隊通過三項關(guān)鍵優(yōu)化實現(xiàn)突破：采用基于Flow Matching的自回歸DiT主干網(wǎng)絡(luò)，實現(xiàn)視頻幀與動作的緊密耦合；設(shè)計異步推理機制，將真實觀測反饋至KV緩存以防止誤差累積；開發(fā)動作塊平滑技術(shù)，在16/4/1個擴散步數(shù)下均能保持性能，最終實現(xiàn)150ms/動作塊的7Hz閉環(huán)控制。這種設(shè)計使高維潛空間中的多步去噪過程得以高效執(zhí)行，為視頻模型在實時控制場景的應(yīng)用開辟道路。

該研究證明，通過視頻與動作的聯(lián)合建模，機器人可繼承關(guān)于物理規(guī)律的先驗知識，從而擺脫對特定設(shè)備的依賴。從非重復(fù)數(shù)據(jù)中高效學習、在開放場景中強泛化、僅依賴視頻完成跨具身遷移、對新機器人快速適配——這四大能力標志著具身智能向通用化邁出關(guān)鍵一步。隨著模型在更多復(fù)雜場景中的壓力測試，基于視頻世界模型的新一代機器人基礎(chǔ)框架正展現(xiàn)出巨大潛力。