AIPress.com.cn報(bào)道

2 月 11 日，螞蟻集團(tuán)正式開源發(fā)布全模態(tài)大模型Ming-flash-omni 2.0。作為 Ming-Omni 系列的最新版本，該模型在視覺(jué)語(yǔ)言理解、語(yǔ)音可控生成、圖像生成與編輯等核心能力上實(shí)現(xiàn)系統(tǒng)性升級(jí)，在多項(xiàng)公開基準(zhǔn)測(cè)試中達(dá)到開源領(lǐng)先水平，部分指標(biāo)超過(guò) Gemini 2.5 Pro。

Ming-flash-omni 2.0的更新重點(diǎn)之一在于音頻生成能力。模型支持在同一音軌中同時(shí)生成語(yǔ)音、環(huán)境音效與音樂(lè)，并允許用戶通過(guò)自然語(yǔ)言指令控制音色、語(yǔ)速、語(yǔ)調(diào)、音量、情緒和方言等參數(shù)。根據(jù)官方數(shù)據(jù)，模型在推理階段實(shí)現(xiàn) 3.1Hz 的推理幀率，可生成分鐘級(jí)音頻內(nèi)容。

在視覺(jué)能力方面，模型通過(guò)引入更大規(guī)模細(xì)粒度數(shù)據(jù)和難例訓(xùn)練策略，提升對(duì)復(fù)雜對(duì)象和長(zhǎng)尾類別的識(shí)別能力。圖像生成與編輯功能也進(jìn)行了優(yōu)化，支持光影調(diào)整、場(chǎng)景替換、人物姿態(tài)修改等操作，并強(qiáng)調(diào)在復(fù)雜或動(dòng)態(tài)場(chǎng)景中的穩(wěn)定性。

架構(gòu)上，Ming-flash-omni 2.02.0 基于 Ling-2.0（MoE，100B-A6B）架構(gòu)訓(xùn)練。官方表示，該版本在更大規(guī)模數(shù)據(jù)和系統(tǒng)化訓(xùn)練優(yōu)化基礎(chǔ)上，對(duì)多模態(tài)理解與生成能力進(jìn)行了統(tǒng)一整合。

近年來(lái)，多模態(tài)大模型逐步向統(tǒng)一架構(gòu)方向發(fā)展，但在實(shí)際應(yīng)用中，模型往往難以同時(shí)兼顧通用性與單項(xiàng)能力表現(xiàn)。螞蟻方面表示，Ming-omni 系列經(jīng)過(guò)多代迭代，從構(gòu)建統(tǒng)一多模態(tài)能力底座，到擴(kuò)大規(guī)模與訓(xùn)練優(yōu)化，再到 2.0 版本強(qiáng)化單項(xiàng)能力表現(xiàn)，逐步提升綜合性能。

百靈模型負(fù)責(zé)人周俊表示，全模態(tài)技術(shù)的關(guān)鍵在于統(tǒng)一架構(gòu)下的能力融合與調(diào)用效率。開源后，開發(fā)者可在同一框架下調(diào)用視覺(jué)、語(yǔ)音與生成能力，減少多模型串聯(lián)帶來(lái)的工程復(fù)雜度。

目前，Ming-flash-omni 2.0的模型權(quán)重與推理代碼已在 Hugging Face 等開源社區(qū)發(fā)布，用戶也可通過(guò)螞蟻百靈平臺(tái) Ling Studio 進(jìn)行在線體驗(yàn)。