螞蟻集團近日宣布，其自主研發的全模態大模型Ming-flash-omni 2.0正式開源，為全球開發者提供了一套支持多模態交互的通用能力框架。該模型在視覺語言理解、語音生成控制及圖像編輯等領域的多項基準測試中表現優異，部分指標甚至超越了專用模型，標志著全模態技術向實用化邁出關鍵一步。
作為業界首個實現音頻全場景統一生成的模型，Ming-flash-omni 2.0突破了傳統語音合成與音效處理的界限。通過自然語言指令，用戶可同時操控語音、環境音效及背景音樂的生成，并精準調節音色、語速、語調等12項參數。模型在推理效率上達到3.1Hz的幀率，支持分鐘級長音頻的實時高保真輸出，其零樣本音色克隆技術更實現了無需訓練即可復現特定聲音的能力。
技術團隊透露，該模型基于Ling-2.0架構（MoE，100B-A6B）構建，通過系統性優化實現了三大核心突破：視覺模塊整合億級細粒度數據，顯著提升對復雜物體的識別精度；音頻模塊突破多軌生成限制，實現三要素同步合成；圖像模塊增強編輯穩定性，支持光影動態調整、場景智能替換等高級功能。在文物鑒定、工業檢測等場景中，模型對細微特征的識別準確率較前代提升37%。
全模態技術的核心挑戰在于平衡通用性與專業性。螞蟻集團通過分階段演進策略破解這一難題：早期版本構建多模態基礎能力，中期版本驗證規模效應，2.0版本則通過10倍級數據擴容與混合專家訓練法，在保持開源模型開放性的同時，使文本生成、圖像理解等任務達到行業頂尖水平。實測數據顯示，其語音合成質量在MOS評分中達到4.8分（滿分5分），接近人類發音水平。
開源社區已同步上線模型權重與推理代碼，開發者可通過Hugging Face平臺直接調用。螞蟻百靈官方平臺Ling Studio更提供在線體驗入口，用戶上傳圖片或音頻后，可實時測試模型的人物姿態優化、一鍵修圖、情緒語音生成等功能。某影視后期團隊測試后表示，該模型將傳統多軟件協作的流程壓縮至單一框架內，工作效率提升60%以上。
項目負責人指出，全模態架構的價值在于消除不同模態間的調用壁壘。通過統一的能力底座，開發者可避免重復訓練視覺、語音等基礎模塊，大幅降低AI應用的開發成本。目前團隊正攻關視頻時序理解與長音頻實時生成技術，未來計劃完善工具鏈生態，推動全模態技術在智慧醫療、數字內容生產等領域的規模化落地。
