在近期一場備受矚目的晚會上,銀河通用機器人“小蓋”憑借一系列令人驚嘆的操作成為全場焦點。從精細地盤核桃、撿玻璃碎片、貨架取物,到生活化的疊衣服、串烤腸,它都能輕松完成,動作靈巧且自然擬人,展現出與傳統機器人截然不同的能力。
與傳統機器人依賴預編程表演不同,“小蓋”此次展示的干活技能實現了端到端自主感知、自主決策、自主執行。這一突破源于銀河通用獨特的技術路徑,公司創新應用了融合超大規模虛實數據端到端訓練、大小腦協同的具身大模型新范式,打造出全球首個集成“大腦 - 小腦 - 神經控制”于一身的全身全手端到端大模型——“銀河星腦 AstraBrain”。
以盤核桃這一絕活為例,核桃表面不規則、重量分布不均,手掌握持時每根手指受力點時刻變化,細微力矩偏差就會導致核桃滑落。為攻克這一難題,AstraBrain 中的靈巧手神經動力學小腦模型發揮了關鍵作用。機器人先在虛擬世界中瘋狂練習,系統提供各種虛擬核桃讓其試錯,練出適應性強的“基礎盤法”;再到現實中積累“物理手感”,系統利用這種手感微調動作指令,彌補虛擬與現實的誤差,最終讓機器手能熟練盤核桃。
撿玻璃碎片對機器人而言是感知與控制的雙重極限挑戰。透明玻璃碎片在淺色桌面上,邊緣、厚度、反光特征易與環境融合,傳統視覺算法難以準確識別其三維輪廓和位姿、判斷抓取點。AstraBrain 通過在仿真環境生成海量透明物體數據,結合多模態感知融合技術,讓“小蓋”能從微弱反光邊緣和陰影變化中“看見”玻璃,精準規劃抓取策略。同時,模型賦予的力覺感知使其能感知玻璃硬度和滑動趨勢,以恰到好處的力度捏起碎片。
貨架取貨看似簡單,實則暗藏玄機。水瓶緊密排列在貨架層板間,周圍商品間距小,稍有不慎就會碰倒鄰品或抓取失敗。這要求機器人同時處理精準判斷位置、擬人伸手拿取且不碰倒周圍商品、靈巧操作取出水瓶三重難題。AstraBrain 的強化學習框架讓“小蓋”在虛擬世界經歷億萬次“取貨試錯”,自我博弈后“悟”出最優路徑,先扣住瓶蓋處,微微傾斜避讓鄰品,再調整角度抽出水瓶,整個過程是實時決策的結果。
疊衣服是機器人操作領域的難題之一,衣服柔性無固定形狀,每次拿起狀態不同。“小蓋”面對隨機擺放的 T 恤,沒有預設軌跡和固定抓取點,需實時判斷布料褶皺狀態、預測折疊形態、規劃動作序列。AstraBrain 在仿真環境生成數以萬計的柔性物體變形數據,讓“小蓋”學會從當前狀態推演出最優操作路徑,實現實時決策。
串烤腸則是對雙手協同與工具操作能力的極限挑戰。“小蓋”需一手操控烤鉗烤制,另一手抓取簽子,雙手協作完成串烤腸并遞給明星。AstraBrain 的端到端大模型架構讓機器人“大腦”同時處理雙手獨立指令流并實時調整,通過對海量仿真數據學習,“小蓋”理解了工具本質,能快速上手新工具。
“小蓋”干活時舉手投足更像真人,這得益于“銀河星腦 AstraBrain”對人類動作數據的大規模仿真生成機制。相比采集機器人生硬動作,人類生活動作海量且易獲取,將其結合仿真生成,能充分利用人類動作先驗,是通往機器人大模型技術突破的可能方向。
AstraBrain 的核心哲學是讓機器人掌握通用能力,而非對特定動作機械設定。以貨架取物為例,“小蓋”先通過少量人類示范理解任務核心意圖;再進入高精度物理真實的仿真環境,系統自動生成數萬種不同場景,機器人通過模仿學習掌握操作精髓;接著引入強化學習機制,讓末端執行器在虛擬世界自我博弈,試錯迭代出最優路徑;最后在真實環境進行少量實際操作,收集真機數據微調。這一過程打通了虛擬與現實的隔閡。
支撐上述過程的是銀河通用技術體系中虛實融合的數據基建——“銀河星坊”(AstraSynth)數據金字塔。基石層是人類數據,為機器人構建通用任務認知;中間層是仿真合成數據,通過海量虛擬數據讓機器人遍歷各種可能性;塔尖層是真機實戰數據,用少量高質量真實世界操作數據完成實戰場景打磨。用虛擬仿真解決數據不足問題,用強化學習解決動作不準瓶頸,讓“小蓋”掌握快速學習新技能的通用能力。











