在電商平臺上尋找同款不同色的商品，或是根據文字描述調整圖片中的天氣效果——這種需要同時理解圖像和文字的搜索需求，正隨著人工智能技術的發展迎來新的突破。由中科院自動化所、阿里巴巴通義實驗室等機構聯合研發的EDIR評估基準，為這一領域提供了更精準的"測量工具"，讓AI模型的組合圖像檢索能力首次得到全面、客觀的評估。

傳統評估方法存在明顯短板：要么覆蓋范圍狹窄，僅針對服裝或特定場景；要么分類粗糙，無法區分"顏色變化"與"材質替換"等細微差異。更嚴重的是，部分模型通過"投機取巧"的方式——僅依賴文字描述而忽視圖像內容——就能在現有測試中取得不錯成績。這種評估方式如同用模糊的鏡片觀察世界，既無法準確反映模型的真實能力，也難以發現技術改進的關鍵方向。

研究團隊創新性地采用"逆向生成"策略構建測試樣本：先設計詳細的編輯指令，再通過圖像編輯技術生成對應的目標圖片。這種方法確保每個測試案例都經過精確設計，覆蓋屬性修改、物體操作、關系調整、全局環境變化及復合修改五大類、十五小類場景。從"將紅色外套改為藍色"的顏色調整，到"在客廳添加書架"的空間操作，再到"把白天照片轉為夜景"的環境變化，測試案例全面覆蓋用戶實際需求。

數據生成過程猶如精密的工業流水線。研究人員從4億張圖片中篩選出36.8萬張清晰、適合編輯的"種子圖片"，再為每張圖片設計15-18個編輯指令。這些指令經過AI改寫為自然語言查詢后，最終形成108.7萬個高質量測試樣本。通過雙重質檢機制——確保圖像符合指令要求、查詢語句與圖像變化完全匹配——研究團隊構建出包含5000個查詢和17.8萬張圖片的EDIR基準庫。

實驗結果顯示，現有模型在EDIR上的表現遠低于預期。基于CLIP架構的傳統模型平均準確率僅18.4%，難以識別細微差異；新一代多模態語言模型（MLLM）雖將準確率提升至36.9%，但能力分布極不均衡。例如，某領先模型在"添加物體"任務中達到74%的準確率，卻在"刪除物體"任務中僅獲24%——這種差距如同數學家不會基礎運算，暴露出技術發展的嚴重偏科現象。

進一步分析發現，模型存在四大典型缺陷：難以理解否定指令（如"不要紅色"）、組合推理能力不足、對材質紋理等細節不敏感、處理復雜約束時易遺漏條件。這些問題在傳統評估中難以被發現，因為現有測試集存在"評估偏食癥"——某些類型查詢占比過高，而關鍵能力測試不足；以及"模態偏見"——部分測試中僅用文字描述就能獲得更好成績，參考圖片反而成為擺設。

針對性訓練實驗揭示了問題的深層原因。研究人員利用數據合成技術生成22.5萬個訓練樣本后，模型在顏色、材質等類別的準確率顯著提升（最高達59.0%），表明這些問題可通過增加訓練數據解決；但在數量判斷、空間推理等類別，提升幅度有限（最高僅33%），反映出當前模型架構存在根本局限。這種區分"數據饑餓型"與"架構局限型"問題的能力，為技術改進指明了方向。

EDIR基準的推出，為圖像檢索領域提供了更公平、更全面的評估標準。其測試案例的平衡設計——每個子類別包含300個樣本（復合類別800個）——確保模型在各方面得到充分考驗。人工評估顯示，該基準的假陽性率僅8.0%，假陰性率7.3%，質量達到行業領先水平。這一工具不僅能幫助研究人員診斷模型缺陷，也為電商、設計、內容創作等領域的實際應用提供了技術參考。

盡管存在數據合成成本較高、復合查詢復雜度有限等挑戰，EDIR已為技術發展奠定重要基礎。它像一面清晰的鏡子，照出當前AI模型在組合圖像檢索中的優勢與不足。隨著更多研究人員利用這一工具，我們有望看到真正理解復雜視覺查詢的智能系統——無論是尋找"藍色同款汽車"，還是創作"無帽版人物肖像"，AI都將更精準地滿足人類需求。

Q&A

Q1：組合圖像檢索技術有哪些實際應用場景？A：該技術可廣泛應用于電商（尋找同款不同色商品）、設計（調整場景風格或元素）、內容創作（修改圖片細節）等領域。例如，用戶上傳紅色裙子圖片并輸入"找藍色同款"，或提供風景照并要求"轉為雪景"，均屬于組合圖像檢索的應用范疇。

Q2：EDIR基準如何確保測試公平性？A：EDIR通過兩大機制避免"作弊"：一是采用"先設計指令再生成圖片"的方法，確保查詢與圖像緊密關聯；二是實驗證明，在EDIR上僅用文字描述的表現明顯低于同時使用圖文的表現，而傳統基準（如CIRCO）存在僅用文字表現更好的反常現象。

Q3：當前AI模型在哪些任務上表現最差？A：實驗顯示，模型在"刪除物體"（準確率24%）、"視角變換"（24.7%）、"數量判斷"（24%）等任務上表現最差。即使經過針對性訓練，這些類別的提升幅度也顯著低于"顏色變化"（提升13%）、"材質修改"（提升21.7%）等任務，反映出當前技術對空間推理、復雜約束等能力的支持不足。