NVIDIA研究人員近日宣布開發出一種名為KVTC（KV快取轉換編碼）的創新技術，該技術可顯著降低大型語言模型（LLM）處理長對話時的內存消耗，同時無需對模型架構進行任何修改。實驗數據顯示，這項技術最高可將內存占用縮減至原來的二十分之一，并將首次響應速度提升達八倍。
傳統大型語言模型在持續對話過程中會生成大量KV緩存數據，這些數據相當于模型的"短期記憶"，用于存儲對話中的關鍵信息以避免重復計算。然而隨著對話輪次增加，緩存數據量可能膨脹至數GB規模，導致GPU內存資源緊張，甚至迫使系統將部分數據轉移至CPU或硬盤存儲，引發性能下降和延遲增加。
NVIDIA團隊提出的解決方案借鑒了JPEG圖像壓縮的經典思路，通過主成分分析、自適應量化和熵編碼三個步驟實現高效壓縮。技術負責人指出，現有壓縮方法往往在壓縮率超過五倍時就會出現明顯精度損失，而KVTC技術即使在二十倍壓縮率下仍能保持99%以上的模型準確率，在15億至700億參數規模的多個主流模型測試中均驗證了這一優勢。
在硬件性能測試環節，配備H100 GPU的系統處理8000個Token的輸入時，啟用KVTC技術后首次響應時間從3秒縮短至380毫秒。這種非侵入式設計允許企業直接部署現有模型，無需重新訓練或調整核心代碼，壓縮和解壓過程采用分層分塊處理機制，確保實時交互不受影響。
技術團隊特別說明，KVTC的優化效果在長對話場景中尤為顯著，對于編程助手、多輪決策系統等需要持續交互的應用場景具有重要價值。相比之下，短對話場景由于緩存數據量較小，壓縮帶來的收益相對有限。目前研發團隊正推進該技術與Dynamo框架的集成工作，目標實現與vLLM等開源推理引擎的無縫兼容。
行業分析認為，隨著語言模型處理能力的不斷提升，對話長度持續突破現有限制，這類標準化壓縮技術可能成為基礎設施的重要組成部分。其發展路徑或將類似視頻壓縮技術的普及過程，通過降低硬件門檻推動AI技術在更多領域的規模化應用。
