特斯拉前人工智能與Autopilot項(xiàng)目核心成員安德里杰·卡爾帕西在近期技術(shù)分享中披露，其在優(yōu)化GPT-2模型訓(xùn)練參數(shù)時(shí)發(fā)現(xiàn)，人類研究者的直覺判斷可能成為技術(shù)突破的阻礙。這位曾主導(dǎo)特斯拉自動(dòng)駕駛視覺系統(tǒng)開發(fā)的科學(xué)家透露，他花費(fèi)數(shù)月時(shí)間手動(dòng)調(diào)整模型訓(xùn)練配置后，轉(zhuǎn)而讓自主智能體接管優(yōu)化工作，結(jié)果該系統(tǒng)僅用一晚就識(shí)別出多組被忽視的關(guān)鍵參數(shù)組合。

這些由算法發(fā)現(xiàn)的調(diào)優(yōu)參數(shù)存在復(fù)雜的相互作用關(guān)系，單個(gè)參數(shù)的微小變動(dòng)會(huì)通過非線性方式影響整體性能。卡爾帕西指出，人類研究者受限于認(rèn)知帶寬，往往只能關(guān)注有限參數(shù)組合，而系統(tǒng)性搜索算法能同時(shí)評(píng)估數(shù)百萬種可能性。這種差異在需要精確平衡多個(gè)優(yōu)化目標(biāo)的深度學(xué)習(xí)模型訓(xùn)練中尤為顯著。

"研究人員需要學(xué)會(huì)退出控制流程，"卡爾帕西在技術(shù)演講中強(qiáng)調(diào)，"當(dāng)存在可量化的評(píng)估指標(biāo)時(shí)，人類不應(yīng)成為決策瓶頸。就像編譯器取代匯編程序員一樣，自動(dòng)化工具正在重塑AI研發(fā)范式。"他特別提到，當(dāng)前主流AI實(shí)驗(yàn)室普遍存在過度依賴研究者個(gè)人經(jīng)驗(yàn)的現(xiàn)象，這種模式與實(shí)驗(yàn)室宣稱的"全流程自動(dòng)化"目標(biāo)存在根本矛盾。

這位深度學(xué)習(xí)領(lǐng)域知名學(xué)者同時(shí)警示，現(xiàn)有自動(dòng)化工具的效能存在明顯邊界。雖然算法在編程競賽、數(shù)學(xué)推理等結(jié)構(gòu)化任務(wù)中已展現(xiàn)出超越人類的能力，但在需要常識(shí)推理或情感理解的開放領(lǐng)域，自動(dòng)化優(yōu)化仍面臨重大挑戰(zhàn)。卡爾帕西認(rèn)為，這種能力斷層將導(dǎo)致AI發(fā)展出現(xiàn)新的分化趨勢(shì)，技術(shù)資源可能進(jìn)一步向可量化領(lǐng)域集中。

據(jù)技術(shù)文檔顯示，卡爾帕西團(tuán)隊(duì)開發(fā)的自主優(yōu)化系統(tǒng)采用分層強(qiáng)化學(xué)習(xí)架構(gòu)，通過模擬退火算法探索參數(shù)空間，結(jié)合貝葉斯優(yōu)化進(jìn)行局部精調(diào)。該系統(tǒng)在GPT-2微調(diào)任務(wù)中實(shí)現(xiàn)的性能提升，相當(dāng)于將訓(xùn)練數(shù)據(jù)規(guī)模擴(kuò)大3倍的效果，而計(jì)算成本僅增加17%。這項(xiàng)成果已引發(fā)谷歌Brain、OpenAI等機(jī)構(gòu)對(duì)自動(dòng)化模型優(yōu)化流程的重新評(píng)估。