谷歌近日宣布，其Gemini API將新增兩種服務層級——Flex Inference與Priority Inference，旨在為開發(fā)者提供更靈活的成本與性能管理方案。這一調(diào)整允許開發(fā)者根據(jù)任務需求動態(tài)選擇推理優(yōu)先級，通過統(tǒng)一接口實現(xiàn)不同場景下的優(yōu)化配置，無需再為同步與異步任務設(shè)計復雜架構(gòu)。

隨著AI應用場景的擴展，開發(fā)者常需同時處理兩類任務：一類是允許較高延遲的后臺計算，如大規(guī)模數(shù)據(jù)處理或模型深度推理；另一類是要求即時響應的交互任務，例如智能客服或?qū)崟r協(xié)作工具。傳統(tǒng)模式下，開發(fā)者需通過拆分系統(tǒng)架構(gòu)、混合使用同步與異步API來滿足需求，這增加了開發(fā)復雜度與維護成本。

Flex Inference專為成本敏感型任務設(shè)計。開發(fā)者將請求設(shè)置為該層級后，模型運行成本可降低約50%，但需接受更長的響應時間與較低的服務穩(wěn)定性。谷歌建議，該模式適用于客戶關(guān)系管理系統(tǒng)數(shù)據(jù)更新、科研模擬計算以及需要模型在后臺進行多步驟推理的Agent工作流等非實時場景。

Priority Inference則聚焦于關(guān)鍵業(yè)務場景。該層級通過優(yōu)先級調(diào)度機制，確保請求在系統(tǒng)高負載時仍能優(yōu)先處理，從而提升服務可靠性。若用戶設(shè)置的Priority流量超出配額，超出部分將自動降級至標準服務，避免應用中斷。谷歌強調(diào)，實時客服系統(tǒng)、在線內(nèi)容審核平臺以及金融交易等對延遲與穩(wěn)定性要求嚴苛的場景，均可通過該模式獲得優(yōu)化支持。

開發(fā)者可通過修改請求參數(shù)中的service_tier字段，直接調(diào)用這兩種新層級，且二者均支持Gemini API的GenerateContent與Interactions接口。API返回結(jié)果將明確標注實際使用的服務層級，幫助開發(fā)者直觀掌握性能表現(xiàn)與費用消耗。這一機制被視為谷歌降低AI應用規(guī)模化部署門檻的重要舉措，為開發(fā)者在成本與性能之間提供了更精細的平衡選項。