香港大學聯合上海創新研究院、北京航空航天大學及Kinetix AI團隊，在機器人訓練領域取得重要突破。他們開發的"EgoHumanoid"系統首次實現通過人類第一視角視頻訓練人形機器人完成復雜動作，這項成果已發表于學術平臺arXiv，編號為2602.10106v1。

傳統機器人訓練依賴實驗室環境，研究人員需使用精密遙控設備逐個關節指導機器人動作。這種方法不僅成本高昂，且訓練出的機器人僅能在特定場景運行。當面對家庭、商場等真實環境時，機器人常因無法適應復雜場景而表現笨拙。研究團隊指出，這種訓練方式如同讓學生只在教室學習，缺乏應對現實世界的能力。

人類每天在多樣環境中完成行走、抓取、搬運等動作，積累了豐富的運動經驗。但將人類經驗轉化為機器人指令面臨巨大挑戰：實驗用Unitree G1機器人身高1.3米，與人類平均身高存在差異；人類靈活的手指與機器人三指機械手結構迥異；自然擺動的行走方式與機器人機械平衡機制截然不同。這些差異猶如將成人服裝強行套在兒童身上，尺寸比例完全不匹配。

研究團隊創造性地構建了"翻譯系統"，通過視角對齊和動作對齊兩大技術突破實現人機動作轉換。視角對齊技術利用MoGe算法估算視頻中每個像素點的距離信息，將人類俯視視角壓縮為機器人平視視角。當轉換出現空白區域時，AI圖像生成技術會自動補全畫面，確保機器人獲得完整視覺信息。動作對齊則建立了一套通用動作語言，用相對位置變化描述上半身操作，將復雜步態簡化為前進、后退等基礎指令。

為收集訓練數據，團隊開發了便攜式VR設備系統。志愿者佩戴裝有攝像頭的VR頭盔和全身追蹤器，在真實環境中自然執行任務時，系統會自動記錄第一視角視頻和動作數據。這套設備重量輕便，可隨身攜帶至家庭、公園、商場等場景使用。數據顯示，收集39.7秒人類示范視頻的效率，比收集62.1秒機器人遙控數據高出近一倍。

研究團隊設計了四項綜合測試驗證系統效能，每個任務都要求機器人同時具備行走和操作能力。"枕頭放置"任務考驗機器人攜帶物品時的平衡控制；"垃圾投放"需要精確的空間定位和投擲技巧；"玩具轉移"涉及連續動作序列執行；"購物車收納"則要求機器人協調推車、抓取、放置等多任務操作。這些任務模擬了人類日常生活中的復雜場景，對機器人綜合能力提出嚴峻挑戰。

實驗結果超出預期。在熟悉實驗室環境中，結合人類數據的系統成功率從59%提升至78%；在全新陌生環境中，成功率更是從31%躍升至82%。這種顯著提升證明，人類日常經驗為機器人提供了應對意外情況的"生活智慧"。進一步分析發現，導航類技能（如行走、轉彎）可完全通過人類數據學習，而精細操作技能（如精確抓取）的遷移效果相對較弱，這主要受限于機器人機械手的結構限制。

數據多樣性對訓練效果的影響超出預期。團隊對比實驗顯示，在三個不同場景收集的等量數據，比單一場景收集的相同數據量，能使機器人泛化能力提升更顯著。這表明就像語言學習需要不同語境一樣，機器人也需要通過多樣場景積累經驗。

當前系統仍存在局限性。手部動作精確轉換仍是難題，人類手指的靈活旋轉動作常被機器人誤解。數據質量要求嚴格，示范者需保持標準動作，避免手部長時間遮擋或身體過度搖擺。這些挑戰為后續研究指明了方向。

這項技術為機器人訓練開辟了新路徑。傳統"手把手"教學方式如同師父帶徒弟，而新系統使機器人具備觀察學習能力，更接近人類嬰兒通過觀察學習技能的自然方式。隨著VR設備普及，普通人的日?；顒佣伎赡艹蔀闄C器人學習的數據源，家庭服務機器人或可通過觀看主人視頻快速適應新環境，工業機器人也能通過觀察工人操作學習裝配流程。

在問答環節，研究人員解釋了系統工作原理：通過視角轉換和動作簡化建立人機溝通橋梁，使機器人能"理解"人類示范。相比傳統實驗室訓練，VR系統具有便攜高效優勢，能在真實環境中收集多樣化數據。陌生環境測試中51%的成功率提升，充分證明了人類經驗對機器人適應能力的重要價值。