小米MiMo大模型團隊近日宣布推出一項名為HySparse的創新技術架構，該架構專為應對Agent時代超長文本處理需求而設計，通過融合“極少量全注意力機制+稀疏注意力機制”的核心模式，為行業提供了兼顧效率與精度的解決方案。這一突破不僅為大模型注意力結構研究開辟了新路徑，更標志著技術發展從“計算可行性”向“計算經濟性”的關鍵轉型。
隨著Agent技術在多領域加速落地，處理超長上下文已成為模型的核心能力。當前模型面臨雙重挑戰：既要保持復雜推理中的穩定性，又需在實時響應中控制計算成本。傳統全注意力機制雖能精準捕捉信息，但計算開銷隨文本長度呈平方級增長；純稀疏注意力雖能降低計算量，卻易丟失關鍵信息。這種矛盾在需要處理數萬token的場景中尤為突出，成為制約技術發展的瓶頸。
針對上述難題，HySparse架構通過動態分層設計實現突破。在80B參數規模的MoE模型實驗中，團隊僅保留5層全注意力層（占總層數10%），其余層采用稀疏注意力機制。這種設計使KV Cache存儲需求降低近90%，同時模型在數學推理、代碼生成等任務中的表現不降反升。RULER長文測試顯示，即使全注意力層大幅減少，系統仍能精準定位跨段落的關鍵信息，驗證了混合架構的優越性。
該架構可視為對小米此前Hybrid SWA技術的升級迭代。通過引入全局token信息補充機制，新架構在保持原有計算效率優勢的基礎上，進一步優化了信息傳遞路徑。實驗數據顯示，在7B參數的Dense模型和80B參數的MoE模型中，HySparse均帶來穩定性能提升，且未顯著增加計算開銷。這種“兼容且互補”的設計理念，為混合注意力架構的工程化落地提供了新范式。
據研發團隊介紹，HySparse的創新點在于重新定義了注意力資源的分配邏輯。通過將計算資源集中于關鍵信息節點，既避免了全注意力機制的資源浪費，又克服了稀疏注意力機制的信息碎片化問題。這種設計特別適用于需要多輪推理的復雜場景，例如在法律文書分析、科研論文解讀等任務中，系統能動態識別核心段落并建立高效關聯。
目前，小米MiMo團隊正著手在更大規模模型中驗證HySparse的擴展性。后續研究將聚焦于進一步壓縮全注意力層數量，探索在保持性能前提下將計算復雜度降至理論極限的可能性。這項技術突破不僅為學術界提供了新的研究方向，也為工業界優化大模型部署成本提供了實用參考，有望推動Agent技術在資源受限場景中的廣泛應用。
