在科學(xué)文獻(xiàn)檢索領(lǐng)域，一項由多所高校聯(lián)合開展的研究引發(fā)了廣泛關(guān)注。該研究通過系統(tǒng)性實驗發(fā)現(xiàn)，在處理復(fù)雜科學(xué)文獻(xiàn)查詢?nèi)蝿?wù)時，傳統(tǒng)檢索方法展現(xiàn)出超越最新AI技術(shù)的顯著優(yōu)勢。這一發(fā)現(xiàn)挑戰(zhàn)了當(dāng)前對智能檢索系統(tǒng)的普遍認(rèn)知，為相關(guān)技術(shù)發(fā)展提供了新的思考方向。

研究團(tuán)隊構(gòu)建了名為SAGE的科學(xué)文獻(xiàn)檢索評估框架，包含1200個精心設(shè)計的查詢樣本，覆蓋計算機(jī)科學(xué)、自然科學(xué)、醫(yī)療健康和人文社科四大領(lǐng)域。每個領(lǐng)域配備5萬篇最新論文作為檢索語料庫，形成總規(guī)模達(dá)20萬篇的專用數(shù)據(jù)庫。查詢類型分為精確匹配的短答題和需要綜合分析的開放式問題，前者要求找到唯一正確答案，后者則需識別多個相關(guān)文獻(xiàn)。

實驗評估了六個主流深度研究智能體，包括GPT-5系列和開源系統(tǒng)DR Tulu。結(jié)果顯示，GPT-5在短答題任務(wù)中表現(xiàn)最優(yōu)，精確匹配率達(dá)71.69%，但在處理開放式問題時，不同系統(tǒng)呈現(xiàn)差異化表現(xiàn)。值得注意的是，開源系統(tǒng)DR Tulu在精確檢索任務(wù)中超越了部分閉源系統(tǒng)，顯示出開源模型在特定場景下的競爭力。研究還發(fā)現(xiàn)，搜索次數(shù)與檢索質(zhì)量并不成正比，部分系統(tǒng)通過更精準(zhǔn)的查詢分解策略實現(xiàn)了更高效率。

在檢索器性能對比環(huán)節(jié)，傳統(tǒng)BM25算法在短答題任務(wù)中展現(xiàn)出驚人優(yōu)勢，其準(zhǔn)確率比基于大語言模型的檢索器高出約30個百分點。具體數(shù)據(jù)顯示，BM25在k=10設(shè)置下達(dá)到81.2%的平均準(zhǔn)確率，而先進(jìn)的AI檢索器gte-Qwen2-7B-instruct和ReasonIR分別只有63.0%和49.3%。這種差距源于智能體生成的查詢特征——現(xiàn)有系統(tǒng)更傾向于生成關(guān)鍵詞組合而非自然語言查詢，導(dǎo)致AI檢索器的語義理解能力無法充分發(fā)揮。

為提升檢索效果，研究團(tuán)隊創(chuàng)新性地提出語料庫級測試時擴(kuò)展方法。該方法通過大語言模型提取每篇論文的核心關(guān)鍵詞和元數(shù)據(jù)，包括發(fā)表場所、作者信息和引用次數(shù)等，并將這些結(jié)構(gòu)化信息添加到文檔開頭。實驗表明，這種預(yù)處理方式使BM25在短答題任務(wù)中的性能提升8.18個百分點，達(dá)到83.98%的準(zhǔn)確率。雖然AI檢索器也有改進(jìn)，但幅度較小，凸顯了傳統(tǒng)方法對關(guān)鍵詞信號的敏感性優(yōu)勢。

深入分析發(fā)現(xiàn)，不同查詢類型對信息要素的需求存在顯著差異。短答題主要依賴論文元數(shù)據(jù)、多模態(tài)細(xì)節(jié)和文獻(xiàn)間關(guān)系三類信息，任意兩類組合即可定位93.67%的目標(biāo)論文。搜索方法直接影響信息要素的權(quán)重分配——使用網(wǎng)絡(luò)搜索時，系統(tǒng)更關(guān)注論文細(xì)節(jié)；而基于語料庫搜索時，文獻(xiàn)間關(guān)系成為主導(dǎo)因素。這種差異反映了底層技術(shù)架構(gòu)對系統(tǒng)行為模式的深層影響。

研究團(tuán)隊在實驗設(shè)計上采取嚴(yán)格規(guī)范，確保結(jié)果可靠性。網(wǎng)絡(luò)搜索實驗評估了專有和開源兩類智能體，通過官方API控制變量；語料庫搜索實驗則統(tǒng)一使用32000詞元的輸入限制，匹配主流模型的處理能力。在數(shù)據(jù)集構(gòu)建方面，研究團(tuán)隊從主要學(xué)術(shù)會議期刊采樣種子論文，通過引用重疊分析建立文獻(xiàn)關(guān)系網(wǎng)絡(luò)，并利用GPT-5-mini生成需要跨文檔推理的查詢樣本，確保評估任務(wù)的真實性和復(fù)雜性。

評估指標(biāo)設(shè)計充分考慮了不同查詢類型的特性。短答題采用精確匹配標(biāo)準(zhǔn)，要求輸出必須完全包含標(biāo)準(zhǔn)答案；開放式問題則引入加權(quán)召回率，根據(jù)文獻(xiàn)相關(guān)性分配不同權(quán)重。這種差異化評估方式更準(zhǔn)確地反映了系統(tǒng)在實際應(yīng)用中的表現(xiàn)。語料庫構(gòu)建遵循嚴(yán)格標(biāo)準(zhǔn)，僅選用開放獲取的最新文獻(xiàn)，并通過分層采樣確保領(lǐng)域覆蓋的均衡性。

該研究指出，當(dāng)前深度研究智能體在推理密集型檢索任務(wù)中仍面臨挑戰(zhàn)，這類任務(wù)需要綜合處理元數(shù)據(jù)和文獻(xiàn)間關(guān)系。傳統(tǒng)檢索方法通過針對性優(yōu)化展現(xiàn)出獨特價值，而數(shù)據(jù)增強(qiáng)策略可進(jìn)一步挖掘其潛力。研究強(qiáng)調(diào)，技術(shù)協(xié)作需要更好適應(yīng)查詢特征，在追求創(chuàng)新的同時不應(yīng)忽視經(jīng)典方法的有效應(yīng)用。完整技術(shù)細(xì)節(jié)和實驗數(shù)據(jù)可通過論文編號arXiv:2602.05975v1查詢獲取。