一支由meta FAIR實驗室主導，聯合倫敦大學學院、meta超級智能實驗室及英屬哥倫比亞大學學者組成的研究團隊，在國際頂級學術期刊發表了一項關于人工智能研究助手性能影響因素的研究成果。該研究通過分析超過1.1萬次完整的科研項目執行過程，發現AI研究助手的思維多樣性對其工作表現具有決定性作用。
研究團隊構建了名為MLE-bench的測試平臺，包含75個來自Kaggle競賽的真實機器學習任務，涵蓋計算機視覺、自然語言處理等五大領域。通過對比6種不同大語言模型在三種工作框架下的表現，研究人員發現那些能夠提出更多解決方案的AI系統，在任務完成度上平均高出23%。這種相關性在獎牌系統、標準化分數等五項評價指標中均得到驗證。
實驗數據顯示，高性能AI模型在項目初期平均會考慮3.5種不同方法，而性能較低的模型僅考慮2.8種。當研究人員通過修改提示詞限制AI助手的方法選擇后，其任務完成率下降了17%，有效解決方案提交量減少40%。特別是在文本標準化任務中，低多樣性AI因過度依賴T5模型導致63%的項目超時失敗。
信息論中的香農熵被用于量化思維多樣性。以圖像分類任務為例，AIDE系統70%的嘗試集中在梯度提升決策樹和卷積神經網絡，而AIRAGreedy系統則均衡使用四種不同架構。這種差異導致前者在復雜任務中的失敗率比后者高出31個百分點。研究人員指出，思維多樣性通過兩條路徑影響表現：一是提供備選方案降低實現風險，二是通過多路徑探索提高發現最優解的概率。
進一步分析顯示，AI助手的實現能力與思維多樣性存在正向關聯。使用o3模型的系統在保持高多樣性的同時，其代碼調試效率比其他模型高出40%。工作軌跡分析表明，表現優異的AI會將65%的計算資源用于優化已實現的解決方案，而非持續嘗試新方法。這印證了"將創意轉化為成果"的關鍵作用。
研究團隊特別改進了傳統評價體系，引入有效提交率、ELO評分等四項補充指標。在時間序列預測任務中，某AI系統雖僅獲銅牌，但其ELO評分顯示其實際能力接近人類頂尖選手。這種多維評價證實，思維多樣性帶來的優勢在不同評價框架下均保持穩定。
控制實驗揭示了因果關系：當強制AI助手減少方法種類時，其標準化分數平均下降0.15個標準差。這種影響在需要創新解決方案的任務中更為顯著，例如在多模態學習任務中，多樣性受限的AI無法提出任何有效架構，而對照組產生了7種創新模型。
研究還發現，不同AI系統在思維多樣性上的差異遠大于其基礎智能差異。通過調整"溫度"參數控制隨機性的嘗試效果有限，表明思維多樣性需要專門的設計機制。在表格數據分析任務中，具備自適應復雜度提示的系統比固定策略系統多探索了2.3倍的解決方案空間。
這項成果對AI工具開發具有直接指導意義。研究人員建議，未來系統應內置"創意孵化器"模塊，在項目初期強制生成多樣化方案。對于用戶而言，在任務描述中增加"考慮不同技術路線"的提示，可使解決方案質量提升19%。某參與測試的科研團隊反饋，采用多樣性策略后，其AI助手在藥物發現任務中提出了三種全新分子結構，其中一種已進入臨床前研究階段。
