在GTC 2026大會(huì)上，英偉達(dá)正式推出了專為智能體系統(tǒng)設(shè)計(jì)的Groq 3 LPX機(jī)架。這款新型機(jī)架聚焦于低延遲與長(zhǎng)上下文處理需求，被定位為Vera Rubin平臺(tái)的AI推理加速器，預(yù)計(jì)將于今年下半年正式投入市場(chǎng)。

Groq 3 LPX機(jī)架采用全液冷散熱方案，基于MGX基礎(chǔ)設(shè)施架構(gòu)構(gòu)建。其核心配置包含32個(gè)1U計(jì)算托盤，每個(gè)托盤集成8顆Groq 3（LP30）芯片。每顆芯片搭載500MB片上SRAM，使得整個(gè)機(jī)架的片上存儲(chǔ)容量達(dá)到128GB，并實(shí)現(xiàn)40PB/s的SRAM帶寬。這種設(shè)計(jì)顯著優(yōu)化了輸出生成速度，同時(shí)將系統(tǒng)響應(yīng)延遲控制在極低水平。

在系統(tǒng)互聯(lián)方面，每顆LP30芯片通過96條112Gbps的C2C鏈路與其他組件連接。單個(gè)計(jì)算托盤可擴(kuò)展至384GB DRAM內(nèi)存，通過結(jié)構(gòu)擴(kuò)展邏輯與頭節(jié)點(diǎn)CPU實(shí)現(xiàn)內(nèi)存資源整合。這種分層存儲(chǔ)架構(gòu)既保證了片上SRAM的高效利用，又能在處理超大規(guī)模任務(wù)時(shí)提供DRAM作為補(bǔ)充支持。

據(jù)英偉達(dá)披露，Groq 3 LPX的部署將使Vera Rubin平臺(tái)的推理能效實(shí)現(xiàn)質(zhì)的飛躍。每兆瓦功耗下的推理吞吐量可提升35倍，特別在處理萬億參數(shù)級(jí)模型時(shí)，能為運(yùn)營(yíng)商帶來最高10倍的營(yíng)收增長(zhǎng)空間。這一突破主要得益于芯片架構(gòu)對(duì)長(zhǎng)上下文處理的優(yōu)化，以及系統(tǒng)級(jí)內(nèi)存帶寬的指數(shù)級(jí)提升。