智能手機(jī)的算力極限在哪里?蘋果的最新旗艦iPhone17Pro剛剛給出了一個既令人震撼又略顯尷尬的答案。

3月23日，擁有 4000億參數(shù) 的大語言模型在iPhone17Pro上成功跑通。要知道，即便經(jīng)過量化壓縮，此類模型通常也需要至少200GB 的內(nèi)存才能運(yùn)行，而iPhone17Pro的硬件配置僅為12GB LPDDR5X 內(nèi)存。

技術(shù)“黑科技”: 閃存流轉(zhuǎn)與混合專家模型

在內(nèi)存容量嚴(yán)重不足的情況下，這次“不可能的任務(wù)”主要依靠兩個技術(shù)路徑實(shí)現(xiàn):

SSD 強(qiáng)行“擴(kuò)容”: 借助 Flash-MoE 開源項目，設(shè)備直接從固態(tài)硬盤（SSD）向 GPU 流式傳輸數(shù)據(jù)，突破了物理內(nèi)存的上限。

MoE 架構(gòu)優(yōu)勢: “MoE”代表混合專家模型（Mixture of Experts），這意味著系統(tǒng)在生成每個單詞時，只需要調(diào)用4000億參數(shù)中的一小部分，而非全量負(fù)載。

速度硬傷:每兩秒蹦出一個詞

雖然“跑通了”，但實(shí)際體驗距離“可用”還有巨大的鴻溝。實(shí)測顯示:

生成速度: 僅為 0.6Token/秒。換句話說，大約每1.5到2秒才能生成一個單詞。

功耗壓力: 這種高強(qiáng)度的本地運(yùn)算會極速消耗手機(jī)的電池壽命，發(fā)熱情況也不容小覷。

行業(yè)啟示:本地大模型的“奇點(diǎn)”將至?

盡管目前的生成速度讓人“抓狂”，但這次演示的象征意義遠(yuǎn)大于實(shí)用價值。它證明了在手機(jī)端本地運(yùn)行頂級規(guī)模大模型并非死路一條。

隱私護(hù)城河: 本地運(yùn)行意味著數(shù)據(jù)無需上傳云端，能夠提供極高的隱私保護(hù)。

離線可行性: 在無網(wǎng)絡(luò)環(huán)境下獲取頂級 AI 的回復(fù)正在成為可能。

正如業(yè)內(nèi)評價，“能跑起來”和“能流暢使用”是兩碼事。但隨著算法優(yōu)化與硬件迭代，當(dāng)0.6token 進(jìn)化到60token 時，智能手機(jī)將真正進(jìn)化為隨身攜帶的“超級大腦”。