一項突破性的人工智能研究近日引發關注,由科研團隊開發的DreamPartGen系統實現了3D物體生成領域的重大創新。該系統能夠像專業工匠般解析文字描述,將復雜物體拆解為獨立部件并精準還原空間關系,為3D建模技術開辟了全新路徑。
傳統3D生成模型往往將物體視為不可分割的整體,如同用整塊材料雕刻的雕像。而DreamPartGen通過獨特的"雙重部件潛在編碼"技術,為每個部件賦予獨立身份標識。當用戶描述"帶有多枚機翼導彈的戰斗機"時,系統會分別生成機身、機翼、導彈等獨立部件,并自動構建部件間的連接關系,確保導彈準確懸掛于機翼下方。
研究團隊構建的"協同潛在去噪"機制是該系統的核心技術。該機制通過三個協調層次實現精密生成:在部件內部確保幾何形狀與外觀材質的統一,在部件間維持尺寸比例與連接角度的匹配,在全局層面保證整體結構符合語言描述。這種分層優化策略使生成過程如同交響樂演奏,每個部件都是獨立樂章,最終組合成和諧整體。
支撐系統運行的是包含11000個精細標注物體的PartRel3D數據集。該數據集記錄了300萬個部件關系三元組,涵蓋175類物體的功能連接(如支撐、鉸接)和空間關系(如對稱、接觸)。通過標準化處理,系統能夠理解"座位架在四條腿上"與"座位由腿支撐"等不同表述的相同語義,為AI學習提供高質量訓練樣本。
實驗數據顯示,DreamPartGen在幾何精度和語義匹配度上取得顯著突破。其生成的3D模型倒角距離較傳統方法降低53%,地球移動距離減少33%,部件交并比指標優化27.2%。在處理罕見部件時,系統渲染質量僅下降0.629個單位,展現出強大的泛化能力。
該技術的模塊化設計支持跨物體部件復用。從椅子學習到的"腿"結構可應用于桌子生成,汽車輪子概念能遷移至自行車建模。這種遷移學習能力使單個物體生成時間控制在45秒內,完整場景生成約需52秒,在保證質量的同時維持了合理效率。
在應用場景方面,系統已展現出多領域潛力。游戲開發者可通過文字描述快速構建包含多個物體的3D場景;工業設計師能直接修改特定部件而不影響整體結構;教育領域可創建交互式3D教材,幫助學生理解復雜機械構造。系統對鉸接式物體的支持,更使可開合筆記本、可轉動機器人關節等動態模型生成成為可能。
盡管系統在非常規物體描述處理和復雜關系解析上仍有改進空間,但其開創性的部件級理解能力已為3D生成技術樹立新標桿。研究團隊通過開源論文和代碼,邀請全球開發者共同探索可控3D生成的新方向,為具身智能和交互式應用場景奠定基礎。











