大型語言模型在深度擴展過程中面臨的信息衰減問題，一直是制約其性能提升的關鍵瓶頸。華中科技大學電子信息與通信學院與字節跳動Seed團隊聯合攻關，提出深度混合注意力機制（MoDA），通過創新的信息傳遞方式顯著提升了模型處理復雜任務的能力。該研究成果已發表于arXiv平臺，論文編號為arXiv:2603.15619v1。

傳統模型在增加網絡層數時，早期輸入的關鍵信息會因反復壓縮而逐漸丟失，就像傳話游戲中原始信息在多次傳遞后失真?，F有解決方案存在明顯局限：殘差連接雖能緩解梯度消失問題，但會將歷史信息壓縮為單一線索，導致重要特征被稀釋；密集連接雖能完整保留歷史信息，卻因計算復雜度隨層數平方增長而難以應用于大型模型。

研究團隊提出的MoDA機制突破了傳統框架，通過將序列注意力與深度注意力融合到統一計算空間，使每個注意力頭既能處理當前層信息，又能自適應檢索歷史層的關鍵特征。這種設計相當于為模型配備智能記憶系統，在保持計算效率的同時實現跨層信息的高效利用。實驗數據顯示，在1.5B參數規模的模型中，MoDA使下游任務平均性能提升2.11%，而計算開銷僅增加3.7%。

技術實現層面，MoDA構建了擴展的鍵值序列結構，將當前層信息與歷史深度信息聯合處理。通過掩碼機制確保因果性約束，使每個查詢只能訪問對應的歷史深度信息。在寫入階段，模型采用輕量級鍵值投影技術，將前饋網絡層的信息也納入深度流，形成包含多類型信息的完整記憶庫。這種設計既保證了信息完整性，又將參數復雜度控制在線性增長范圍。

針對硬件部署挑戰，研究團隊開發了系列優化算法。通過Flash兼容的深度鍵值布局，將內存訪問模式優化為連續塊操作，使64K序列長度下的處理效率達到FlashAttention-2的97.3%。進一步提出的塊感知布局和組感知計算策略，通過局部深度鍵值訪問和共享基時間索引技術，將有效深度利用率提升至理論極限的80%以上。這些創新使MoDA在保持理論優勢的同時，具備了實際工程應用的可能性。

實驗驗證表明，MoDA在不同規模模型中均表現出穩定性能提升。在700M參數模型上，訓練困惑度降低0.41，下游任務性能提升1.17%；1.5B參數模型在10個基準測試中平均困惑度下降0.2。注意力可視化分析顯示，模型確實在跨層深度信息上分配了顯著注意力權重，特別是中間層和后期層表現出持續的歷史信息檢索行為。這種機制使模型能夠同時處理局部序列依賴和全局深度關系，形成更復雜的信息處理模式。

研究團隊還探索了深度鍵值狀態的有界緩存技術，通過固定大小的深度鍵值槽緩沖區，動態管理歷史信息存儲。這種設計將內存開銷從深度依賴轉為槽位依賴，為超大規模模型訓練提供了可行方案。初步實驗顯示，在48層模型中，后歸一化配置從深度鍵值中獲得的收益比預歸一化配置大10倍，表明該技術特別適用于深層網絡優化。

目前，研究團隊已開源完整實現代碼，包括樸素實現版本和經過多重優化的高效版本。這些代碼為開發者提供了從基礎驗證到工業部署的完整工具鏈，特別是硬件感知優化策略，可直接應用于現有AI基礎設施的升級改造。隨著CUDA工程優化的持續推進，MoDA有望成為下一代大型語言模型的核心組件之一。