上海AI實驗室聯合25所高校科研團隊，推出了一款名為ATLAS的科學推理評測平臺，旨在為人工智能模型構建一個高難度測試體系。該平臺涵蓋數學、物理、化學、生物、計算機科學、地球科學和材料科學七大基礎學科，通過約800道原創題目檢驗AI模型的真實科學推理能力。與傳統測試平臺不同，ATLAS要求AI模型完成復雜的多步驟推理，并給出詳細的解題過程，而非簡單的選擇題答案。

研究團隊發現，現有AI評測體系存在顯著局限性。以MMLU測試為例，頂級模型在該基準上的準確率已超過90%，但其題目設計難以區分不同模型的能力差異。MATH數據集的演變更凸顯這一問題：2021年最強模型得分不足10%，而三年后同類模型得分飆升至90%以上。這種進步更多反映模型對訓練數據的記憶能力，而非真正的推理能力提升。數據污染、學科覆蓋單一、答案格式簡化等問題，導致現有測試無法準確評估AI的科學研究潛力。

ATLAS平臺通過四項核心設計原則構建測試體系。所有題目均由博士級專家全新創作，經檢索系統確認未被任何AI訓練集收錄。題目設計強調跨學科融合，例如要求同時運用熱力學定律和微分方程解決材料科學問題。答案格式采用高保真標準，接受LaTeX格式的復雜數學表達式，并要求詳細展示推理鏈條。平臺通過預測試篩選題目，確保最終入選題目的平均通過率低于20%，維持測試的前沿挑戰性。

質量控制體系貫穿題目開發全流程。專家團隊首先完成題目創作與初步篩選，隨后進入自動化預審階段，系統檢查題目格式與重復率。對抗性測試環節讓當前最優模型反復嘗試解題，只有準確率持續低于40%的題目才能通過。多層級人工評議采用雙盲制度，由三位匿名專家從科學價值、難度等級、表述清晰度三個維度評分。最終答案需經過AI輔助的精煉優化，并接受事實準確性與邏輯一致性驗證。整個篩選過程的淘汰率超過70%，確保測試題庫的高質量標準。

測試內容分布反映現代科學研究趨勢。計算推導類題目占比71.4%，要求AI完成從基礎運算到復雜系統建模的任務。選擇判斷類（12.2%）與解釋描述類（10.2%）題目考察知識掌握與表達能力，結構復合類（6.1%）則融合多種能力要求。跨學科題目占比顯著，例如生物化學題目需結合反應機理與系統調節知識，材料物理題目涉及量子力學與電學性質的關聯分析。題目平均字數達65詞，復雜場景描述超過200詞，50%以上題目采用復合問題設計，考驗AI的長程推理能力。

評估系統采用創新的AI互評機制。OpenAI o4-mini與GPT-OSS-120B擔任評判官，通過四階段流程處理答案：首先提取JSON格式的核心內容，隨后進行科學含義比對而非簡單文本匹配。例如在算法復雜度分析中，系統能識別"log n"與"ln n"在漸近表示中的等價性。數值計算題目評估顯示，AI評判官可準確識別160N與1.6×102N的相同答案，但在描述性問題的主觀判斷上仍存在差異。答案提取成功率分析表明，先進模型能較好控制輸出長度，JSON解析錯誤率接近零。

實際測試結果引發行業深思。表現最優的OpenAI GPT-5-High準確率為42.9%，Gemini-2.5-Pro與Grok-4分別取得35.3%和34.1%的成績。錯誤類型分析顯示，27%的失誤源于數值計算錯誤，16.5%涉及數學表達式錯誤，13%為關鍵推理步驟缺失。跨學科題目成為普遍難點，所有模型在需要知識整合的題目上表現顯著下降。輸出長度限制實驗表明，將token數從32k增至64k僅帶來有限提升，凸顯推理能力本身的局限性。

該平臺已規劃長期發展路徑。研究團隊將建立開放協作機制，邀請全球科研人員參與題庫建設，通過嚴格審核流程維持質量標準。持續更新機制確保測試內容緊跟科學前沿，定期淘汰失效題目并補充新挑戰。學科覆蓋將擴展至神經科學、藥學等領域，任務格式擬增加假設生成、實驗設計等真實科研場景。技術基礎設施升級包括智能題目管理系統與更精準的評估算法，同時探索將優質題目轉化為科學教育資源的可能性。