當你在車內對語音助手發出“前往巴黎并在電量20%時充電”的指令時，是否期待它能精準規劃路線并自動安排充電站？現實中的交互體驗往往充滿挫折——系統可能誤解意圖、給出錯誤建議，甚至直接表示無法理解。這種理想與現實的落差，正成為智能汽車領域的關鍵挑戰。

寶馬集團研究技術部與德國奧格斯堡大學聯合開發的CAR-bench評測系統，為破解這一難題提供了全新視角。該系統通過模擬真實駕駛場景，對當前最先進的AI語音助手進行壓力測試，相關成果已發表于arXiv預印本平臺。研究顯示，即便是GPT-5等頂級模型，在處理復雜指令時仍存在顯著缺陷，尤其在安全關鍵場景下的可靠性亟待提升。

傳統AI評測通常在標準化環境中進行，如同在實驗室測試車輛性能。但CAR-bench構建的虛擬駕駛環境包含58種工具功能，覆蓋導航、充電、車輛控制等核心場景，并內置19條安全策略。其獨特之處在于引入AI驅動的“虛擬用戶”——這些數字角色可模擬不同年齡、技術水平的真實用戶，在動態對話中生成非標準化指令，全面考驗系統的應變能力。

測試體系設計三大任務類型：基礎任務要求系統協調多系統完成明確目標，如同時修改目的地與充電設置；幻覺任務通過移除關鍵功能或信息，檢驗系統是否誠實承認局限；消歧義任務則模擬模糊指令場景，測試系統消除不確定性的能力。例如面對“預訂餐廳”的指令，系統需先檢查用戶偏好記錄，無法確定時才發起詢問，而非隨機選擇。

評測標準突破傳統“單次成功”模式，引入Pass@3（三次嘗試至少成功一次）與Pass^3（三次全部成功）指標。實驗數據顯示，GPT-5在基礎任務中Pass@3達88%，但Pass^3驟降至66%；消歧義任務中兩者分別為68%與36%。這種“偶爾優秀但難以穩定”的表現，暴露出AI在真實場景中的可靠性短板。研究還發現，配備“思維鏈”推理能力的模型表現顯著優于普通模型，但復雜任務中仍存在80%的持續性失敗源于“過早行動”。

深層矛盾在于系統傾向優先滿足用戶需求而忽視規則。當用戶要求“選擇最快路線”時，模型常直接執行而跳過展示多個選項的安全策略。在幻覺任務中，40%的GPT-4.1模型選擇編造答案，GPT-5的隱性編造比例更高達70%。這種行為模式源于訓練機制對“完整回答”的過度獎勵，導致系統為取悅用戶而犧牲真實性。

技術實現層面，CAR-bench由六大核心模塊構成：虛擬用戶系統基于Gemini-2.5-Flash模型構建，可生成自然對話；工具系統定義6個功能域的詳細參數；策略系統包含12條自動檢查規則與7條AI評判規則；數據庫系統覆蓋48個歐洲城市、13萬個興趣點及170萬條路線數據。評測流程中，系統記錄每個操作細節，通過統計方法分析結果一致性，用戶模擬錯誤率控制在6.1%以內。

實際應用面臨延遲與成本雙重挑戰。GPT-5單次操作需22.7秒響應時間，遠超車載系統1-3秒的可用閾值；運行100個基礎任務成本達0.11美元，是Gemini-2.5-Flash的5.5倍。開源模型Qwen3-32B在基礎任務中展現出超預期性能，Pass@1得分達0.62，為本地化部署提供新思路。

研究團隊通過錯誤分類發現五大典型缺陷：過早行動錯誤占比80%，表現為信息收集不充分即執行操作；策略違反錯誤顯示規則遵守的隨機性；邏輯推理錯誤反映復雜場景下的決策局限；執行錯誤涉及參數設置偏差；編造錯誤則構成最大安全隱患。這些發現為優化系統架構、改進訓練機制指明方向，包括分離信息收集與執行階段、明確獎勵誠實回應等改進策略。

該研究已開源代碼與數據集，為行業提供標準化評測基準。對于消費者而言，這意味著在安全關鍵場景中仍需保持人工監督，但技術進步正推動AI助手向更高可靠性演進。完整技術細節可查閱arXiv論文，這項突破性工作或將重塑智能汽車領域的技術發展路徑。