在人工智能領(lǐng)域，Transformer架構(gòu)曾被視為革命性突破，但如今其核心發(fā)明者之一Llion Jones發(fā)出警告：過度依賴現(xiàn)有架構(gòu)可能阻礙通用人工智能（AGI）的真正突破。這位Sakana AI創(chuàng)始人指出，當(dāng)前學(xué)術(shù)界和產(chǎn)業(yè)界對(duì)Transformer的微調(diào)研究，可能重蹈循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）被迅速取代的覆轍。

Jones以RNN的興衰史為例說(shuō)明技術(shù)迭代的殘酷性。在Transformer出現(xiàn)前，RNN占據(jù)主導(dǎo)地位長(zhǎng)達(dá)數(shù)年，研究者們不斷優(yōu)化其門控單元位置或語(yǔ)言建模性能，但這些局部改進(jìn)最終被Transformer徹底顛覆。他直言："當(dāng)新架構(gòu)帶來(lái)數(shù)量級(jí)差異時(shí)，所有微調(diào)工作都會(huì)顯得毫無(wú)意義。"這種擔(dān)憂正源于他對(duì)當(dāng)前研究生態(tài)的觀察——論文普遍聚焦于調(diào)整歸一化層位置或改進(jìn)訓(xùn)練技巧，而非探索根本性創(chuàng)新。

這種研究范式被Jones稱為"架構(gòu)彩票"陷阱。他援引2020年提出的"硬件彩票"理論指出，Transformer的勝利本質(zhì)上是契合了當(dāng)時(shí)GPU計(jì)算生態(tài)的偶然結(jié)果。盡管已有研究證明某些新架構(gòu)在特定任務(wù)上表現(xiàn)更優(yōu)，但整個(gè)行業(yè)仍難以放棄Transformer，因?yàn)槠渑涮坠ぞ哝満陀?xùn)練方法已高度成熟。這種路徑依賴形成強(qiáng)大的"重力井"，使得任何新架構(gòu)都需要達(dá)到"碾壓式優(yōu)勢(shì)"才能獲得關(guān)注。

當(dāng)前大語(yǔ)言模型（LLM）的局限性進(jìn)一步印證了Jones的判斷。他指出這些模型呈現(xiàn)出"鋸齒狀智能"特征：既能解決博士級(jí)難題，又會(huì)犯下小學(xué)生級(jí)別的錯(cuò)誤。這種矛盾暴露了現(xiàn)有架構(gòu)的根本缺陷——將所有功能強(qiáng)行塞入單一框架，而非通過架構(gòu)創(chuàng)新實(shí)現(xiàn)更自然的知識(shí)表示。"我們像在給瑞士軍刀添加新工具，卻從未思考是否需要重新設(shè)計(jì)工具本身。"Jones比喻道。

為突破這種循環(huán)，Jones團(tuán)隊(duì)轉(zhuǎn)向生物啟發(fā)的研究路徑。他們開發(fā)的連續(xù)思維機(jī)（CTM）模擬大腦神經(jīng)元的同步振蕩機(jī)制，通過神經(jīng)動(dòng)態(tài)表示實(shí)現(xiàn)漸進(jìn)式計(jì)算。這種設(shè)計(jì)并非追求完全生物學(xué)還原，而是借鑒其核心信息傳遞方式。研究團(tuán)隊(duì)特意避開學(xué)術(shù)圈常見的"搶發(fā)壓力"，用充足時(shí)間完善對(duì)照實(shí)驗(yàn)，希望為高風(fēng)險(xiǎn)探索樹立典范。

這場(chǎng)范式轉(zhuǎn)移之爭(zhēng)正引發(fā)行業(yè)深層反思。OpenAI前首席科學(xué)家Ilya Sutskever近期也表示，單純擴(kuò)大現(xiàn)有架構(gòu)規(guī)模不足以實(shí)現(xiàn)AGI。但挑戰(zhàn)在于，在真正突破出現(xiàn)前，任何局部改進(jìn)都可能被視為必要探索。Jones承認(rèn)這種困境："就像RNN研究者直到Transformer出現(xiàn)才意識(shí)到自己陷入死胡同，我們現(xiàn)在同樣無(wú)法預(yù)知下一個(gè)范式轉(zhuǎn)移何時(shí)到來(lái)。"

當(dāng)前研究格局呈現(xiàn)出矛盾圖景：一方面，混合專家模型、注意力機(jī)制變體等改進(jìn)持續(xù)涌現(xiàn)；另一方面，少數(shù)研究者開始探索神經(jīng)形態(tài)計(jì)算、世界模型等全新方向。這種分化折射出AI發(fā)展的關(guān)鍵轉(zhuǎn)折點(diǎn)——當(dāng)技術(shù)積累達(dá)到臨界點(diǎn)時(shí)，行業(yè)必須抉擇是繼續(xù)優(yōu)化現(xiàn)有路徑，還是冒險(xiǎn)開辟未知領(lǐng)域。Jones的警告恰似一記警鐘：在追求AGI的競(jìng)賽中，最危險(xiǎn)的陷阱或許正是我們當(dāng)前最依賴的"成功經(jīng)驗(yàn)"。