螞蟻集團近日宣布開源全模態大模型Ming-Flash-Omni 2.0,該模型在視覺語言理解、語音可控生成及圖像編輯等核心領域展現出卓越性能,部分指標甚至超越國際頂尖模型Gemini 2.5 Pro,成為開源領域全模態技術的新標桿。這一成果標志著螞蟻集團在多模態人工智能領域的技術積累進入全新階段。
作為業界首個實現全場景音頻統一生成的模型,Ming-Flash-Omni 2.0突破性地將語音、環境音效與音樂融合于單一音軌。用戶通過自然語言指令即可精準調控音色、語速、語調乃至方言特征,模型更支持零樣本音色克隆技術。在效率方面,該模型以3.1Hz的推理幀率實現分鐘級長音頻的實時高保真生成,在成本控制與處理速度上達到行業領先水平。實測數據顯示,其在復雜音頻場景下的生成質量已接近專業音頻工作站標準。
技術架構層面,模型基于Ling-2.0架構(MoE,100B-A6B)構建,通過系統性訓練優化實現三大核心突破:視覺模塊采用億級細粒度數據訓練,顯著提升對近緣物種、文物細節等復雜對象的識別精度;音頻模塊突破傳統分離式生成模式,實現多要素協同創作;圖像編輯模塊強化動態場景處理能力,支持光影調整、場景替換等高級功能的同時保持畫面連貫性。這些特性使其在醫療影像分析、文化遺產數字化等場景具有廣泛應用潛力。
螞蟻集團百靈模型負責人周俊指出,全模態技術的核心價值在于通過統一架構實現多維度能力的深度融合。此次開源將模型權重與推理代碼同步釋放至Hugging Face等平臺,開發者可基于單一框架調用視覺、語音、生成等全棧能力,較傳統多模型串聯方案降低60%以上的開發成本。配套上線的Ling Studio平臺更提供可視化操作界面,用戶無需深厚技術背景即可完成復雜多模態任務。
該模型的演進路徑體現了螞蟻集團的技術戰略布局:早期版本聚焦多模態基礎能力建設,中期版本驗證規模效應,2.0版本則通過10萬小時級音頻數據與千萬級圖像數據的訓練優化,在保持通用性的同時實現專項能力突破。特別是在語音克隆領域,其僅需3秒音頻樣本即可生成高度擬真的語音,在隱私保護前提下為無障礙溝通、個性化內容創作等場景提供技術支撐。
目前,開發者可通過螞蟻百靈官方平臺直接調用模型API,或下載開源代碼進行本地化部署。這種開放策略不僅加速了技術創新迭代,更為金融、醫療、教育等垂直領域的應用開發提供了標準化解決方案。隨著工具鏈與評測體系的持續完善,全模態技術有望在智能客服、內容生產、輔助診斷等領域實現規模化落地。











