AIPress.com.cn報道

3月30日消息，字節跳動安全研究團隊針對數據泄露風險提出了一種新的隱私保護推理方案PrivLLM，其核心技術為“協變混淆（Covariant Obfuscation）”。該方案在系統開銷與用戶體驗接近明文推理的情況下，實現端到端數據隱私保護，并在安全性、成本與能效之間取得平衡。相關論文已公開發布于 arXiv。

研究指出，大模型推理過程中可能出現三類隱私風險。第一是敏感詞泄露，即提示詞中的個人可識別信息或商業機密可能被云服務提供方獲取。第二是會話語義泄露，服務商通過分析用戶對話內容可能推斷出健康狀況等隱私信息。第三是中間結果泄露，例如推理過程中產生的隱藏狀態或 KV-cache 等數據，可能被攻擊者利用，通過反演技術恢復原始文本。

在技術路徑上，PrivLLM通過對“數據”和“模型”同時進行混淆變換實現保護。具體而言，系統基于同一密鑰對提示詞與詞表 token 進行隨機置換，同時對模型參數進行隨機加噪、數值變換以及局部訓練等處理，使模型與數據在同一“混淆空間”中運行。這樣既保證模型能夠正確完成推理，又使云端僅能看到不可讀的混淆數據。

在實際流程中，PrivLLM包含兩個階段。首先是離線模型混淆階段，用戶使用專屬密鑰對模型分詞器與權重參數進行變換，將模型轉換至密文空間后再部署到云端。其次是在線混淆推理階段，用戶對提示詞進行混淆處理后發送至云端，云服務端接收到的文本表現為無意義字符，但混淆模型仍能正確理解并完成推理，最終結果由用戶端解密獲得。

研究團隊還提出基于“Renyi-度量差分隱私”的理論框架，用于量化隱私保護強度并計算隱私預算，從理論層面對該機制進行分析與證明。

實驗結果顯示，PrivLLM在多種主流大模型上均表現出較好的性能穩定性。研究團隊選用Qwen2.5、Qwen3、Deepseek-V3.1以及Llama3等模型，并在C-eval、MMLU、Humaneval、IFeval和PIQA等數據集上進行評測。結果表明，與明文推理相比，PrivLLM的任務效果損失控制在3%以內。

在安全性方面，研究團隊測試了最近鄰匹配攻擊、詞表置換攻擊、隱藏層狀態攻擊、不變量攻擊以及反演模型攻擊等多種逆向攻擊方式。結果顯示，各類攻擊對PrivLLM的文本 token 恢復成功率均低于15%，恢復文本與原始文本的相似度也顯著降低，表明其能夠有效防止攻擊者還原用戶隱私信息。

效率測試方面，PrivLLM的離線模型混淆僅需一次性執行。例如在300億參數規模的Qwen3-MoE模型上，離線混淆流程可在約5分鐘內完成。在線推理階段的延時增加則控制在10%以內，用戶在實際使用中幾乎難以察覺差異。

研究團隊認為，隨著AI應用不斷擴大，企業在使用大模型時對數據隱私保護的需求日益增強。PrivLLM通過“協變混淆”機制提供了一種在安全性、效率與成本之間取得平衡的解決方案，為實現“數據可用不可見”的AI推理模式提供了新的技術路徑。