人工智能語言模型訓練領域迎來了一項革新性突破。香港大學與抖音聯合團隊提出了一種名為"代理壓縮"的新型訓練范式，通過同時利用壓縮數據與原始數據，在保持訓練效率的同時顯著提升了模型的適應能力。這項研究已在預印本平臺arXiv公開，編號為2602.04289v1，為AI系統設計開辟了全新路徑。

傳統語言模型訓練面臨兩難困境：使用簡化處理的壓縮文本雖能加速訓練，但會丟失關鍵信息；采用原始文本雖能保留完整語義，卻需要消耗大量計算資源。研究團隊通過創新設計，讓模型在訓練階段同時接觸兩種數據形態——90%時間處理壓縮數據，10%時間接觸原始字節數據。這種混合訓練方式使模型在部署階段僅需原始輸入，就能達到傳統壓縮訓練的效率水平。

實驗數據顯示，大型模型在該訓練框架下展現出驚人潛力。當模型參數規模達到140億級時，其處理原始數據的性能已能與傳統分詞模型媲美，甚至在部分編程任務中實現超越。這種跨格式理解能力源于模型在訓練過程中建立的"雙語翻譯"機制，就像人類同時掌握兩種語言體系，能在不同表達方式間自由切換。

研究團隊通過對比實驗發現，并非所有壓縮方法都適合作為"代理"。傳統分詞和神經網絡壓縮因能保持語義穩定性而表現優異，而基于gzip的通用壓縮算法則因輸出波動過大被淘汰。這種特性差異直接影響模型訓練效果，為后續技術選型提供了重要參考。

在編程任務測試中，代理壓縮模型展現出獨特優勢。面對代碼格式變化、空格調整等干擾因素，其性能穩定性顯著優于傳統分詞模型。更令人驚訝的是，當同時提供壓縮與原始版本內容時，模型能實現95%以上的精準對應轉換，這種"即時翻譯"能力為多模態處理提供了新思路。

技術實現層面，研究團隊開發了基于信息熵的并行處理策略，使神經壓縮方法的處理速度提升百倍以上。對于傳統分詞方法，他們發現直接使用分詞索引作為輸入比復雜編碼更有效。訓練過程中通過特殊標記區分數據類型，幫助模型清晰識別不同輸入形態。

大規模驗證實驗采用TB級代碼語料庫進行訓練，結果顯示代理壓縮模型在保持跨格式轉換能力的同時，實際編程性能已接近專業領域頂尖模型。這種在效率與能力間取得平衡的特性，解決了長期困擾研究界的計算資源分配難題。

該成果的影響遠超技術層面。研究證明AI系統不必受限于單一數據表示方式，訓練階段可采用混合格式提升模型泛化能力，部署階段回歸原始輸入確保通用性。這種設計理念可能重塑未來AI架構的發展方向，為構建更智能、更魯棒的系統提供新范式。

盡管當前驗證主要集中于代碼生成領域，但研究團隊指出該方法具有普適性潛力。對于資源受限的小型模型，他們正在探索優化訓練策略，試圖在保持效率的同時提升跨格式理解能力。這項探索為不同規模AI模型的訓練提供了全新參考框架。

針對讀者關心的核心問題，研究團隊給出明確解答：代理壓縮訓練通過建立數據形態間的對應關系，使模型既能享受壓縮訓練的高效，又能保持原始輸入的處理能力；相比傳統分詞，該方法避免了語言偏見、攻擊漏洞等問題，在格式變化時表現更穩定；其效果與模型規模正相關，大型模型能更好發揮跨格式學習優勢。