螞蟻數(shù)科天璣實(shí)驗(yàn)室團(tuán)隊(duì)在具身智能數(shù)據(jù)采集領(lǐng)域?qū)崿F(xiàn)重大技術(shù)突破,其研發(fā)的AoE(Always-On Egocentric)持續(xù)性第一人稱視頻采集框架,以顛覆性方案破解行業(yè)長(zhǎng)期存在的成本與規(guī)模化難題。該框架通過(guò)智能手機(jī)與定制化頸掛式支架的組合,將數(shù)據(jù)采集設(shè)備成本壓縮至20美元以內(nèi),僅為傳統(tǒng)專業(yè)設(shè)備的千分之一,卻能實(shí)現(xiàn)毫米級(jí)軌跡精度與90%以上手部關(guān)鍵點(diǎn)識(shí)別準(zhǔn)確率。
這項(xiàng)創(chuàng)新的核心在于將人體轉(zhuǎn)化為動(dòng)態(tài)數(shù)據(jù)節(jié)點(diǎn)。研究人員設(shè)計(jì)的符合人體工學(xué)的頸掛式支架,采用機(jī)械夾具與磁吸雙重固定技術(shù),確保手機(jī)在胸前穩(wěn)定采集第一人稱視角畫(huà)面。這種設(shè)計(jì)不僅完整記錄自然交互過(guò)程,更支持?jǐn)?shù)千臺(tái)設(shè)備并發(fā)采集,配合云端自動(dòng)化處理系統(tǒng),形成端到端的數(shù)據(jù)生產(chǎn)流水線。在Unitree G1機(jī)器人的關(guān)電腦任務(wù)測(cè)試中,引入200條AoE采集數(shù)據(jù)后,模型成功率從45%飆升至95%,充分驗(yàn)證其作為"啟動(dòng)學(xué)習(xí)"數(shù)據(jù)源的獨(dú)特價(jià)值。
技術(shù)團(tuán)隊(duì)攻克了長(zhǎng)視頻轉(zhuǎn)化為訓(xùn)練數(shù)據(jù)的關(guān)鍵瓶頸。通過(guò)端側(cè)部署的輕量級(jí)視覺(jué)模型,系統(tǒng)可自動(dòng)識(shí)別手物交互瞬間并觸發(fā)精準(zhǔn)錄制,再利用多模態(tài)大模型將連續(xù)視頻切割為帶語(yǔ)義標(biāo)簽的原子動(dòng)作片段。云端處理系統(tǒng)進(jìn)一步完成自動(dòng)標(biāo)注、異常數(shù)據(jù)過(guò)濾與清洗,最終生成符合訓(xùn)練標(biāo)準(zhǔn)的高質(zhì)量數(shù)據(jù)集。這種全流程自動(dòng)化方案,使手機(jī)錄制的原始視頻轉(zhuǎn)化為可用訓(xùn)練數(shù)據(jù)的效率提升數(shù)十倍。
端云協(xié)同架構(gòu)是該系統(tǒng)的另一大亮點(diǎn)。采集設(shè)備與云端服務(wù)器形成智能閉環(huán),實(shí)現(xiàn)數(shù)據(jù)預(yù)處理、清洗、篩選與調(diào)度的全自動(dòng)化。這種設(shè)計(jì)不僅將人工干預(yù)降至最低,更使整體數(shù)據(jù)處理吞吐量提升300%。實(shí)驗(yàn)數(shù)據(jù)顯示,單臺(tái)設(shè)備日均采集有效數(shù)據(jù)量達(dá)2.8GB,經(jīng)云端處理后可直接用于模型訓(xùn)練的數(shù)據(jù)占比超過(guò)85%。
作為螞蟻數(shù)科AI toB戰(zhàn)略的重要布局,天璣實(shí)驗(yàn)室正加速推進(jìn)技術(shù)成果轉(zhuǎn)化。該實(shí)驗(yàn)室聚焦AI+數(shù)據(jù)、AI+安全、AI+金融及AI+具身智能四大領(lǐng)域,已形成覆蓋數(shù)據(jù)采集、模型訓(xùn)練到場(chǎng)景落地的完整技術(shù)棧。今年以來(lái),螞蟻數(shù)科連續(xù)成立大模型技術(shù)創(chuàng)新部,并宣布推出企業(yè)級(jí)大模型產(chǎn)品,此次數(shù)據(jù)采集技術(shù)的突破,為其在工業(yè)自動(dòng)化、服務(wù)機(jī)器人等領(lǐng)域的商業(yè)化落地奠定關(guān)鍵基礎(chǔ)。











