在科研領域，每年發(fā)表的學術論文數量龐大，科學家們想要緊跟最新研究進展面臨巨大挑戰(zhàn)。盡管人工智能系統在快速整合海量信息方面潛力巨大，但普遍存在編造內容，即“產生幻覺”的問題，這嚴重影響了其可靠性。例如，華盛頓大學與艾倫人工智能研究所（AI2）的研究團隊對OpenAI最新模型GPT - 4o進行分析后發(fā)現，該模型78%至90%的研究引用都是偽造的。而且，像ChatGPT這類通用人工智能模型，通常無法讀取訓練數據采集完成后發(fā)表的學術論文。

為了解決這些問題，華盛頓大學與艾倫人工智能研究所的團隊研發(fā)了一款名為OpenScholar的開源人工智能模型，它專為整合前沿學術研究而打造。同時，團隊還構建了首個跨領域大型評測基準，用于評估模型整合與引用學術研究的能力。測試結果表明，OpenScholar的引用準確率與人類專家相當。在16位科學家進行的盲評中，51%的情況下他們更偏愛OpenScholar生成的內容，而非領域專家撰寫的答復。

研究人員在完成模型訓練后，為OpenScholar搭建了一個包含4500萬篇學術論文的檢索庫，讓模型的答復能夠依托成熟的科研成果。團隊采用檢索增強生成技術，使模型在訓練完成后仍可以檢索新文獻、整合內容并規(guī)范引用。該研究的第一作者、艾倫人工智能研究所研究科學家淺井朱里（在華盛頓大學艾倫學院讀博士期間完成此項研究）介紹，研發(fā)初期，他們嘗試結合谷歌搜索數據訓練人工智能模型，但發(fā)現模型單獨使用這類數據效果不佳，可能會出現引用關聯性極低的論文、僅單篇引用，甚至隨意抓取博客內容等問題。意識到必須讓模型依托學術論文開展工作后，他們優(yōu)化了系統靈活性，使其能通過檢索結果整合最新研究成果。

為驗證系統性能，團隊搭建了ScholarQABench學術搜索評測基準，專門用于測評科研類人工智能系統。團隊收集了3000條檢索查詢，以及計算機科學、物理學、生物醫(yī)學、神經科學領域專家撰寫的250篇長文答復。

研究團隊將OpenScholar與GPT - 4o、meta旗下兩款頂尖人工智能模型進行對比，通過ScholarQABench從準確性、撰寫質量、內容相關性等維度自動評測模型答復。結果顯示，OpenScholar的表現優(yōu)于所有參測模型。在邀請16位科學家對各模型與人類專家的答復進行盲評對比時發(fā)現，51%的情況下科學家更認可OpenScholar的答復，而非人類專家；若將OpenScholar的引用機制與工作流和大模型GPT - 4o結合，科學家對人工智能答復的偏好率升至70%；僅使用GPT - 4o原生生成內容時，科學家偏好率僅為32%。

該研究的通訊作者漢娜內·哈吉希里齊，同時也是華盛頓大學保羅·G·艾倫計算機科學與工程學院副教授、艾倫人工智能研究所高級總監(jiān)，她表示：“我們上線演示版本后，很快就收到了遠超預期的海量訪問請求。梳理用戶反饋后發(fā)現，同行和其他科研人員都在積極使用OpenScholar，這充分說明科研領域迫切需要這類開源、透明的學術研究整合系統。”

淺井朱里還提到，科學家每天要面對海量新發(fā)論文，根本無法全部跟進，而現有人工智能系統并非針對科研人員的專屬需求設計。目前已有大量科研人員使用OpenScholar，得益于其開源屬性，業(yè)內同行已在本研究基礎上迭代優(yōu)化，進一步提升了模型效果。團隊正在研發(fā)迭代模型DR Tulu，該模型基于OpenScholar的技術成果，可實現多步驟檢索與信息聚合，生成更全面的研究答復。