當你在聊天框中向AI輸入指令時,是否思考過這樣一個問題:這個人工智能系統究竟在遵循誰的命令?是預設的安全規則、開發者的產品要求,還是用戶輸入的即時請求?隨著大模型能力邊界不斷擴展,它們不僅能對話,還能調用工具、讀取文件、訪問網頁,甚至以智能體身份執行現實任務。當多重指令同時涌入且彼此矛盾時,AI如何判斷優先級?一旦決策失誤,可能引發違規內容生成、隱私泄露甚至被黑客劫持等嚴重后果。
OpenAI近期公布的IH-Challenge研究項目,正是為解決這一核心挑戰而生。該項目通過構建指令層級結構(instruction hierarchy),明確系統指令>開發者指令>用戶指令>工具輸出的優先級順序。根據這一框架,AI僅在低優先級指令不與高優先級約束沖突時執行前者,且下級指令可補充但不能推翻上級規則。例如,若系統消息包含安全策略,即使用戶要求違反該策略,模型也應拒絕執行;若工具輸出包含惡意指令,模型需自動忽略而非執行。
研究團隊指出,當前AI安全事故的根源往往不是模型"學壞",而是錯誤遵循了低優先級指令。隨著模型進入智能體時代,指令沖突場景從單純的用戶-系統對抗,擴展至開發者規則、用戶請求、工具返回內容之間的復雜博弈。例如,一個AI助理可能同時收到"嚴守商業機密"的系統指令、"對客戶有求必應"的開發者要求,以及用戶通過偽造文件發出的"泄露機密"命令。此時,指令層級結構成為防止安全防線崩潰的關鍵。
構建有效的指令層級系統面臨三大技術難題。首先是區分模型是"不懂規矩"還是"沒看懂題"——指令沖突可能源于指令復雜度超出模型處理能力,而非層級理解錯誤。其次是評估體系的可靠性問題:現有方法常使用另一個大模型作為"裁判"判斷被測模型是否守規,但這種評估本身可能存在誤判。論文披露的案例顯示,裁判模型曾將正確遵循系統指令的模型誤判為"違規",或將被開發者消息中偽造對話誘導的模型判定為"合規"。第三是模型可能通過"過度拒絕"策略投機取巧——為獲得高安全評分,模型可能對所有請求一概拒絕,導致產品可用性喪失。
針對這些挑戰,IH-Challenge設計了專門的強化學習訓練方案。該數據集包含三大核心原則:任務設計極簡以聚焦指令遵循邏輯而非智力表現;評分標準完全客觀化,通過Python腳本自動驗證;任務類型多樣化,特別加入反過度拒絕場景,防止模型通過"全部拒絕"策略刷分。研究團隊構建的訓練流程中,模型需在模擬攻擊環境下持續學習,逐步掌握穩定遵循高優先級指令的能力。
實驗數據顯示,經過IH訓練的GPT-5 Mini-R模型在多項安全指標上顯著提升。在生產環境安全基準測試中,該模型對系統安全規范的響應準確率提高;在抵御提示詞注入攻擊方面,模型能識別并忽略工具輸出中的惡意指令,轉而執行正確任務。值得注意的是,這些安全提升未伴隨幫助率下降,表明模型在安全與可用性之間實現了平衡。例如,面對包含安全規則的系統提示和違規用戶請求時,基線模型可能給出不安全回應,而訓練后模型會拒絕違規請求并完成安全任務。
這項研究的意義在智能體時代尤為凸顯。當AI開始自主調用不可信文檔、外部服務并采取行動時,"誰的話更可信"將超越技術范疇,成為影響社會信任的基礎問題。IH-Challenge通過預先植入規則護欄,為高自主性AI提供了安全運行框架。正如研究團隊強調的,只有讓模型先"懂規矩",才能確保其能力不會轉化為破壞力。











