在AI技術迅猛發(fā)展的當下，一個常見的誤解是CPU的作用正在被邊緣化。然而，事實并非如此。自1971年誕生以來，CPU一直是IT產業(yè)的核心支柱，即便GPU因大模型訓練而聲名鵲起，絕大多數(shù)計算任務依然依賴CPU完成。特別是在智能體（Agentic AI）時代，CPU不僅沒有退居幕后，反而承擔起更為關鍵的角色。
與早期大模型的問答式交互不同，智能體需要長期駐留、持續(xù)執(zhí)行任務并維護狀態(tài)。這種需求使得計算形態(tài)從爆發(fā)式推理轉向長時間在線運轉，而這一轉變恰恰凸顯了CPU的重要性。例如，在智能體系統(tǒng)中，執(zhí)行環(huán)境的隔離與調度、沙箱創(chuàng)建、進程管理等基礎工作幾乎全部由CPU承擔。當云端同時運行成千上萬個智能體時，CPU的核數(shù)、調度能力、內存帶寬和緩存體系便成為決定系統(tǒng)性能的關鍵因素。
更有趣的是，CPU不僅要完成本職工作，還需為GPU分擔額外任務。以大模型上下文處理為例，隨著上下文長度從幾千token擴展到百萬級別，模型推理過程中需要保存的KVCache規(guī)模急劇增長。由于GPU顯存容量有限且成本高昂，行業(yè)逐漸采用將大量KVCache卸載到CPU主內存的架構。在這種架構下，CPU需在GPU推理過程中進行異步預取，通過PCIe或CXL互連鏈路與GPU協(xié)同工作，確保數(shù)據及時到達顯存。這種存算分離設計雖然有效，但也使CPU承擔了更大的壓力。
盡管CPU在智能體時代扮演著核心角色，但智能體應用的落地仍面臨諸多挑戰(zhàn)。首先，Token資源利用率偏低成為制約智能體發(fā)展的瓶頸。與Chatbot的單輪或少數(shù)幾輪交互不同，智能體的任務通常被拆分為多個步驟，執(zhí)行時間可能長達數(shù)小時。每一步都可能觸發(fā)模型推理，導致Token消耗呈指數(shù)級增長。一些深度使用者每天消耗的Token已達上億級別，對應成本可能高達數(shù)百甚至上千元。因此，如何減少Token消耗成為行業(yè)關注的焦點，任務壓縮、結構化記憶、上下文裁剪等技術路徑正在被積極探索。
其次，跨會話記憶的銜接問題也亟待解決。理想中的智能體應能像真正的助手一樣，記住用戶習慣、理解歷史任務并在新工作中復用經驗。然而，現(xiàn)實中的智能體記憶依賴上下文窗口，而上下文窗口天然是短期的，會話結束后信息容易丟失。雖然外部系統(tǒng)如向量數(shù)據庫、知識庫或本地文件存儲可用于長期記憶，但如何讓智能體準確理解并利用歷史會話沉淀的知識仍是一個難題。圍繞長期記憶架構的探索正在迅速增加，例如分層記憶結構、結構化任務日志和用戶畫像系統(tǒng)等，試圖讓智能體逐漸具備真正意義上的長期記憶能力。
輕量化部署方案的稀缺也是智能體應用落地的一大障礙。目前，許多智能體框架在實驗環(huán)境中表現(xiàn)良好，但進入企業(yè)生產環(huán)境后，依賴復雜、算力需求高、部署流程繁瑣等問題便顯現(xiàn)出來。在國產算力環(huán)境下，這一問題更加突出。許多智能體工具默認圍繞國外云服務和算力生態(tài)設計，而在國產算力平臺上，往往缺少成熟的開箱即用方案。企業(yè)即便對智能體技術感興趣，也需投入大量工程成本去適配算力環(huán)境、搭建運行框架和維護模型服務。
面對這些挑戰(zhàn)，什么樣的CPU更適合運行智能體？華為鯤鵬計算首席解決方案架構師魏彬指出，未來智能體應用需在單顆CPU上承載成千上萬線程，對通算架構設計、資源隔離與安全保障能力提出極高要求。ARM架構相比傳統(tǒng)x86架構，在長時在線和多任務并發(fā)場景中展現(xiàn)出獨特優(yōu)勢。例如，ARM架構在設計上更注重性能功耗比，運行成百上千個輕量智能體時能顯著降低電力和散熱成本，運營效率優(yōu)于x86。ARM服務器普遍具備高核心密度，64核、96核甚至128核的配置能夠支撐大量輕量任務并發(fā)運行，而x86雖單核性能更強，但在這種負載模式下資源利用效率較低。
華為自研的鯤鵬處理器正在成為智能體部署場景中的新選擇。通過OpenClaw、OpenViking和鯤鵬服務器的組合，一套較為完整的生產級智能體方案逐漸形成。其核心思路包括插件補短板、硬件破瓶頸和協(xié)同降成本。例如，OpenViking記憶插件通過引入更精細化的記憶結構和檢索機制，提升記憶識別準確度，減少無效Token消耗，并實現(xiàn)更連貫的跨會話記憶調用。鯤鵬服務器則通過CPU層面的向量檢索加速指令，對向量距離計算、寄存器緩存、內存排布和指令調度進行針對性優(yōu)化，顯著提升檢索效率。在軟硬協(xié)同優(yōu)化后，OpenViking的檢索能力被進一步釋放，在保證效果的同時實現(xiàn)更高的算力利用效率。
這種軟硬件協(xié)同的方案不僅降低了部署門檻，還在實際測試中展現(xiàn)出顯著效果。例如，在鯤鵬服務器上，僅需1vCPU+2GB內存的容器環(huán)境即可完成智能體服務部署。任務執(zhí)行準確率可提升40%以上，輸入Token消耗減少90%以上，整體成本在部分場景下甚至可實現(xiàn)最高10倍的下降。在華為合作伙伴大會上，這種插件+框架+算力的組合受到廣泛關注，其適用于研發(fā)運維自動化、企業(yè)客服系統(tǒng)、私有化知識助手和多智能體協(xié)同任務等多種場景，實現(xiàn)了效果和性價比的平衡。
