在人工智能助手的發(fā)展歷程中，從Siri的語(yǔ)音喚醒到如今大模型的復(fù)雜交互，技術(shù)的進(jìn)步不斷刷新著人們對(duì)智能助手的期待。如今，用戶不再滿足于“一問(wèn)一答”的簡(jiǎn)單對(duì)話模式，而是希望AI助手能夠像真人一樣，實(shí)現(xiàn)流暢、主動(dòng)的交流，具備邊聽、邊看、邊思考、邊回答的能力。然而，當(dāng)前大多數(shù)AI助手仍停留在被動(dòng)響應(yīng)階段，難以主動(dòng)感知環(huán)境變化并及時(shí)介入，這與人們心目中的理想狀態(tài)仍有較大差距。

要實(shí)現(xiàn)更接近人類的交互體驗(yàn)，AI助手需具備持續(xù)感知環(huán)境的能力。然而，持續(xù)處理音視頻流對(duì)算力要求極高，云端部署雖能提供充足算力，但會(huì)引入延遲問(wèn)題，并可能帶來(lái)隱私泄露風(fēng)險(xiǎn)。在此背景下，端側(cè)AI成為一條理想的解決方案。本地運(yùn)算不僅能保障響應(yīng)速度，還能從根本上規(guī)避數(shù)據(jù)外泄風(fēng)險(xiǎn)，在機(jī)器人、自動(dòng)駕駛等需要實(shí)時(shí)決策的場(chǎng)景中尤為重要。不過(guò)，如何在算力有限的端側(cè)設(shè)備上實(shí)現(xiàn)高性能智能，仍是行業(yè)面臨的共同挑戰(zhàn)。

面壁智能作為該領(lǐng)域的探索者之一，專注于提升智能密度，即用更小的參數(shù)實(shí)現(xiàn)更強(qiáng)的性能。其MiniCPM系列模型以“以小博大”著稱，全平臺(tái)下載量已突破1800萬(wàn)。早在2024年，該系列模型便成功將GPT-4o、GPT-4V級(jí)別的核心能力部署到手機(jī)、汽車等端側(cè)設(shè)備上。近日，面壁智能發(fā)布的MiniCPM-o 4.5，進(jìn)一步推動(dòng)了端側(cè)全模態(tài)交互技術(shù)的發(fā)展。

MiniCPM-o 4.5是面壁智能在端側(cè)交互方向上的重要升級(jí)。該模型首創(chuàng)原生全雙工技術(shù)，采用端到端的全模態(tài)架構(gòu)，結(jié)合全雙工多模態(tài)實(shí)時(shí)流機(jī)制、主動(dòng)交互機(jī)制和可配置語(yǔ)音建模設(shè)計(jì)，使參數(shù)規(guī)模僅為9B的模型在交互體驗(yàn)上實(shí)現(xiàn)大幅提升。所謂“全雙工”，即模型可同時(shí)看、聽和說(shuō)，對(duì)話無(wú)需輪流進(jìn)行；而“全模態(tài)”則指模型能同時(shí)處理視頻、音頻、文本等多種信息輸入，并以文本和語(yǔ)音形式輸出回應(yīng)。這種設(shè)計(jì)使MiniCPM-o 4.5能在“說(shuō)話”的同時(shí)繼續(xù)觀察和傾聽環(huán)境變化，并根據(jù)新信息實(shí)時(shí)調(diào)整回應(yīng)策略，更接近人類的真實(shí)對(duì)話模式。

傳統(tǒng)多模態(tài)大模型通常只能處理離線靜態(tài)數(shù)據(jù)，且在全模態(tài)方面往往只能處理文本加單一模態(tài)（如視覺或語(yǔ)音）。更關(guān)鍵的是，當(dāng)模型開始生成回復(fù)時(shí)，必須先完成整個(gè)回應(yīng)過(guò)程，才能重新接收外部信息，類似于“對(duì)講機(jī)”式的對(duì)話。這種設(shè)計(jì)在實(shí)際使用中會(huì)造成諸多不便，例如當(dāng)畫面內(nèi)容突然變化時(shí)，模型無(wú)法感知，只能基于舊信息繼續(xù)描述，甚至可能“胡說(shuō)八道”。而在智能駕駛場(chǎng)景中，若AI正在播報(bào)導(dǎo)航信息，卻無(wú)法同時(shí)感知路況變化，可能錯(cuò)過(guò)重要的安全提醒時(shí)機(jī)。

MiniCPM-o 4.5通過(guò)全雙工技術(shù)架構(gòu)解決了這一問(wèn)題。該模型將并行處理的視頻流和音頻流切成極小的切片，采用脈沖式信息處理方式，使多模態(tài)信息能實(shí)時(shí)交替輸入語(yǔ)言模型主干，實(shí)現(xiàn)毫秒級(jí)時(shí)間線上同步所有輸入和輸出流。這種設(shè)計(jì)使模型更像是一種伴隨態(tài)AI，而非簡(jiǎn)單的聊天機(jī)器人。伴隨態(tài)的優(yōu)勢(shì)在于，即使不持續(xù)提問(wèn)，模型也能提供持續(xù)反饋，并根據(jù)環(huán)境變化調(diào)整行為，實(shí)現(xiàn)即時(shí)自由的對(duì)話。例如，用戶只需一句指令，模型便能對(duì)白板畫畫進(jìn)行實(shí)時(shí)描述；在車機(jī)場(chǎng)景中，模型可根據(jù)用戶需求即時(shí)反饋和提醒，幫助司機(jī)減少左顧右盼的精力，更專注地開車。

市面上雖已有一些模型具備實(shí)時(shí)對(duì)話或可打斷的能力，但大多依賴VAD（語(yǔ)音活動(dòng)檢測(cè)）等外部工具實(shí)現(xiàn)。VAD的作用是檢測(cè)環(huán)境中是否有人在說(shuō)話，一旦檢測(cè)到語(yǔ)音信號(hào)，系統(tǒng)便強(qiáng)行中斷模型輸出，重新開始“聽→處理→說(shuō)”的流程。然而，VAD只能檢測(cè)聲音，無(wú)法理解聲音的內(nèi)容和意圖，可能導(dǎo)致誤判或響應(yīng)滯后。例如，旁邊有人咳嗽或電視傳來(lái)人聲，系統(tǒng)可能誤判為用戶在說(shuō)話，導(dǎo)致AI莫名其妙地停下來(lái)；而用戶僅“嗯”一聲表示在聽，系統(tǒng)也可能將其當(dāng)作打斷信號(hào)。VAD的判斷存在滯后，需等待一段時(shí)間確認(rèn)沒有后續(xù)語(yǔ)音后，才會(huì)判定說(shuō)話結(jié)束，導(dǎo)致系統(tǒng)響應(yīng)慢半拍，用戶體驗(yàn)不流暢。

與之不同，MiniCPM-o 4.5的感知和判斷能力是模型內(nèi)生的。在持續(xù)接收視覺和聽覺信息的同時(shí)，模型會(huì)同步進(jìn)行語(yǔ)義理解，并高頻判斷“用戶是否正在說(shuō)話”“自己是否需要說(shuō)話”，從而根據(jù)環(huán)境變化實(shí)時(shí)反應(yīng)，以最合適的時(shí)機(jī)和內(nèi)容回復(fù)，避免信息感知與傳遞的延遲。這一特性可進(jìn)一步應(yīng)用于具身智能領(lǐng)域，為機(jī)器人提供持續(xù)感知的大腦底座。例如，未來(lái)機(jī)器人可能對(duì)微波爐“叮”的聲音、敲門聲、水龍頭漏水等事件具備持續(xù)感知力，并在更多場(chǎng)景中提供及時(shí)響應(yīng)與主動(dòng)服務(wù)。

除對(duì)話響應(yīng)能力大幅提升外，MiniCPM-o 4.5在基礎(chǔ)能力方面也延續(xù)了前代產(chǎn)品的優(yōu)勢(shì)，在流式全模態(tài)能力、視覺能力和語(yǔ)音能力方面保持同尺寸領(lǐng)先水平。語(yǔ)音交互是本次升級(jí)的重點(diǎn)之一。通過(guò)深度挖掘海量互聯(lián)網(wǎng)對(duì)話數(shù)據(jù)、專業(yè)級(jí)語(yǔ)音錄制資源，以及優(yōu)化端到端模型結(jié)構(gòu)，MiniCPM-o 4.5在音色自然度、語(yǔ)調(diào)豐富性、語(yǔ)音穩(wěn)定性等方面顯著提升，有效解決了長(zhǎng)語(yǔ)音合成中常見的錯(cuò)字率高、效果不穩(wěn)定等問(wèn)題。即使生成大于1分鐘的長(zhǎng)語(yǔ)音，該模型仍能保持較好的穩(wěn)定性、一致性與流暢感。它還支持推理階段的聲音克隆，僅需系統(tǒng)提示詞和幾秒鐘的語(yǔ)音樣本，即可模擬特定人物的語(yǔ)音風(fēng)格與表達(dá)習(xí)慣。

為推動(dòng)端側(cè)智能的落地應(yīng)用，面壁智能還透露了將在年中發(fā)布的基于NVIDIA Jetson系列模組的“松果派”（Pinea Pi）開發(fā)板套件。該開發(fā)板定位為Agent原生的端側(cè)多模態(tài)開發(fā)板，旨在讓開發(fā)者以簡(jiǎn)單方式快速開發(fā)端側(cè)智能硬件，將設(shè)備定義權(quán)交到用戶和開發(fā)者手中。目前，開發(fā)者完成AI智能硬件開發(fā)需面對(duì)復(fù)雜技術(shù)棧，開發(fā)門檻較高，而市面上的開發(fā)板大多為裸板，外設(shè)需自行購(gòu)買、適配驅(qū)動(dòng)、手動(dòng)搭建多模態(tài)Pipeline。松果派則提供“開箱即用”的完整解決方案，預(yù)裝完整的多模態(tài)AI開發(fā)環(huán)境，包含攝像頭、麥克風(fēng)等必要外設(shè)，以及優(yōu)化后的驅(qū)動(dòng)程序和中間件，降低開發(fā)難度。

從商業(yè)模式角度看，松果派采用類似早期香橙派、樹莓派的策略，通過(guò)標(biāo)準(zhǔn)化、開放的硬件形態(tài)教育市場(chǎng)，吸引開發(fā)者加入生態(tài)。除硬件外，面壁智能還將配套推出高效推理框架和演示系統(tǒng)，未來(lái)兩者均將開源，為開發(fā)者提供完整的開發(fā)工具鏈。

面壁智能的選擇源于對(duì)技術(shù)發(fā)展趨勢(shì)的判斷。在創(chuàng)始人劉知遠(yuǎn)看來(lái)，端側(cè)AI并非短期押注某個(gè)產(chǎn)品形態(tài)，而是信息革命向智能革命演進(jìn)過(guò)程中必然出現(xiàn)的一層結(jié)構(gòu)。他提出“未來(lái)計(jì)算三分天下”的觀點(diǎn)：超算用于科研探索，云計(jì)算支撐通用服務(wù)，而端側(cè)計(jì)算將成為體量最大、最貼近人類日常的智能形態(tài)。屆時(shí)，“超智-云智-端智”可能呈現(xiàn)金字塔式分布結(jié)構(gòu)，端側(cè)的核心價(jià)值不是算力，而是貼近現(xiàn)實(shí)。盡管單個(gè)端側(cè)設(shè)備的智能不一定最強(qiáng)，但從體量分配來(lái)看，端側(cè)智能承載的是整個(gè)人類社會(huì)的日常運(yùn)轉(zhuǎn)，其規(guī)模必將超過(guò)超智和云智。

回顧大模型的發(fā)展歷程，2022年底ChatGPT的發(fā)布引發(fā)行業(yè)爆發(fā)期，隨后領(lǐng)域內(nèi)開始爭(zhēng)相復(fù)現(xiàn)大模型能力，堆參數(shù)、租算力成為主流方向。然而，面壁智能從一開始便將重心放在端側(cè)AI上，這是一條明顯的“非共識(shí)”路徑。在劉知遠(yuǎn)看來(lái)，非共識(shí)的創(chuàng)新性正是中國(guó)創(chuàng)業(yè)公司稀缺之處。他認(rèn)為，有人做了A，不是再?gòu)?fù)制做A+，而是應(yīng)與之協(xié)同構(gòu)建共生共榮的生態(tài)。無(wú)論從投資還是產(chǎn)業(yè)發(fā)展角度，繼續(xù)在同一條路徑上扎堆、跟風(fēng)并非明智之舉，而應(yīng)多開拓和創(chuàng)新。

產(chǎn)學(xué)研協(xié)同是推動(dòng)技術(shù)落地的關(guān)鍵。姚遠(yuǎn)指出，學(xué)術(shù)界強(qiáng)調(diào)從最前沿探索遙遠(yuǎn)的可能性，而產(chǎn)業(yè)化必須抗住海量數(shù)據(jù)的檢驗(yàn)。因此，如何找到學(xué)術(shù)界前沿方向與工程可落地的交集，極其考驗(yàn)工程直覺。面壁智能從模型迭代中積累了關(guān)鍵技術(shù)技巧與優(yōu)化策略，并將其持續(xù)集成到最新代碼庫(kù)中。例如，MiniCPM-o 4.5版本已全面兼容之前所有版本的技術(shù)，說(shuō)明它們具備高度的可疊加性。

劉知遠(yuǎn)認(rèn)為，若將AGI看成一張拼圖，最關(guān)鍵的一塊未必是高等數(shù)學(xué)或?qū)I(yè)能力，而是具備很強(qiáng)的人類智商水平。因此，全模態(tài)的全雙工是可能很慢但值得努力的方向，也是通往未來(lái)AGI的關(guān)鍵拼圖之一。他指出，AI的使命是替代人類完成大量機(jī)械、重復(fù)的腦力勞動(dòng)，讓人類花更多精力做頂層規(guī)劃、創(chuàng)新和思考更有意思的事情。過(guò)去100多年，人類整體的科學(xué)與創(chuàng)新其實(shí)在減速，未來(lái)唯有依靠AI，讓我們重新執(zhí)掌全人類的知識(shí)，進(jìn)而實(shí)現(xiàn)對(duì)世界的全面認(rèn)知。