在人工智能領域，Gemini 3的發布無疑成為今年備受矚目的里程碑事件。這款由谷歌DeepMind團隊打造的模型，在性能上實現了巨大飛躍，其背后是龐大團隊的協作以及無數改進與創新的融合。谷歌DeepMind的Gemini 3預訓練負責人Sebastian Borgeaud，同時也是開創性論文RETRO的合著者，在首次播客訪談中，深入剖析了這款前沿模型的研發邏輯。

Sebastian Borgeaud指出，Gemini 3的成功并非依賴單一關鍵突破，而是眾多因素共同作用的結果。從架構層面看，它基于Transformer的混合專家架構，這種架構將計算量的使用與參數規模分離開來，通過動態路由把計算能力分配到特定專家模塊。在預訓練領域，規模雖是提升模型性能的重要因素，但并非唯一。架構創新和數據創新如今的重要性愈發凸顯，例如長上下文能力、注意力機制等方面的研究，正成為推動預訓練發展的關鍵方向。

當前，人工智能行業正經歷從“數據無限”向“數據有限”范式的轉變。Sebastian Borgeaud認為，雖然目前不會面臨數據枯竭的問題，但數據量的有限性確實改變了研究方向和研究問題的思路。合成數據的使用需要謹慎，因為很容易誤用。而模型架構的改進，能讓模型用更少的數據實現更好的效果。同時，評估在預訓練中至關重要且極具難度，要避免模型過度擬合測試集，創建獨立的評估集并嚴格保密是了解模型實際性能的關鍵。

在團隊協作方面，Gemini 3的預訓練團隊規模龐大，約150到200人每天在預訓練相關領域工作，涵蓋數據、模型、基礎設施和評估等多個方面。Sebastian Borgeaud作為預訓練負責人之一，既要負責實際研究工作，提升模型性能，又要協調整合團隊成員的工作，讓每個人都能發揮所長，共同實現最大突破。

回顧個人經歷，Sebastian Borgeaud在歐洲多個地方長大，擁有多元的成長背景。他在劍橋大學完成本科和碩士學業后，憑借碩士期間講師的推薦，于2018年加入DeepMind。最初，他參與的項目與強化學習相關，但因更希望從事與真實世界數據相關的工作，他轉向表征學習領域，并逐漸投身于大語言模型的規模化發展研究，參與了Gopher、Chinchilla和Retro等項目，積累了豐富的預訓練經驗。

對于Gemini 3的架構，從宏觀層面看，與前一個版本相比沒有太大變化，但多個方面的改進促成了巨大提升。作為原生多模態模型，Gemini 3由同一個神經網絡同時處理文本、圖像、音頻等不同模態的信息。雖然這會增加一定的成本，包括復雜性成本和計算成本，但帶來的收益在很大程度上超過了成本。

當談到模型如何用更少的數據學習時，Sebastian Borgeaud表示，模型架構研究就是為了解決這個問題。改進模型架構可以讓使用相同數量數據訓練的模型獲得更好結果，或者用更少的數據達到與之前模型相同的結果。不過，目前模型訓練所需的數據量仍然遠遠超過人類所能接觸到的數據量。

對于預訓練領域未來的發展方向，Sebastian Borgeaud認為長上下文能力是一個值得關注的方面。Gemini1.5在長上下文能力方面取得巨大飛躍，未來一兩年內，不僅會提高長上下文處理的效率，還會進一步擴展模型的上下文長度。同時，注意力機制方面最近取得的一些有趣發現，也將塑造未來的研究方向。

在智能體領域，Sebastian Borgeaud認為視覺感知非常重要，因為模型需要與計算機屏幕進行交互，具備出色的屏幕理解能力是關鍵。對于“氛圍編程”概念，他認為這可能與強化學習規模化和后訓練相關，通過大量數據訓練，模型能夠很好地完成這類任務。

對于行業整體發展趨勢，Sebastian Borgeaud提到持續學習是一個核心主題。持續學習是指隨著新知識的發現，不斷用這些知識更新模型。目前，通過后訓練和搜索工具調用，模型可以獲取新信息。未來，也許會通過改變訓練算法，讓模型能夠持續地從來自現實世界的數據流中進行學習。

對于希望在人工智能領域有所建樹的學生或博士生，Sebastian Borgeaud建議，在進行研究的同時要了解系統層面的知識，理解從硬件到研究層面的整個技術棧，這樣能夠發現不同層級之間的差距，全面思考研究想法對整個技術棧的影響。他還對檢索研究領域充滿興趣，認為隨著后訓練和強化學習規模化的發展，類似Retro的技術可能會應用于頂尖模型中。

在初創公司發展方面，Sebastian Borgeaud認為，雖然基礎模型能力越來越強，訓練數據越來越多樣化，但初創公司可以觀察模型能力的進步趨勢，尋找那些進展不大的領域作為研究方向。對于他個人而言，未來一年左右，與眾多優秀的人合作，共同見證人工智能領域的快速發展，是一件非常令人興奮的事情。