Google 宣布推出全新的 Gemini Decisions API 以及專用模型 Gemini Decision 1,專為工具選擇、政策檢查與模型路由等封閉式決策任務打造。這項服務已在上架 Google AI Studio,能大幅降低多模態自動判斷的運算成本與回應延遲。
專為分類與評分設計:單次運算處理上千問題
相較於傳統生成式模型需要逐字輸出內容,Gemini Decision 1 採用封閉式決策架構,透過單次前向運算直接計算候選選項的機率。這種運算方式使端到端處理延遲縮短至 150 到 250 毫秒,且模型運算的毫秒數在中短篇幅下幾乎不會隨問題數量增加而上升。
在輸入規格上,該服務支援最高 25.6 萬個 Token 的共享上下文,可直接分析包含文字、圖片、音訊、影片與 PDF 文件等跨模態資料。開發者能在同一筆輸入資料中掛載最多 1,000 道獨立題目,型態涵蓋:
- 是非判定(noul):估算條件是否成立的概率。
- 多選題(choice):從 2 至 255 個選項中挑選最佳解答並傳回標準化機率。
- 階梯評分(score):依據預先設定的標準進行量表評分。
極低運算成本與信心分數機制
在計費設計上,Gemini Decision 1 每百萬輸入 Token 僅收費 0.1 美元,由於系統僅傳回選項結果與機率而不生成文字,因此輸出 Token 完全不收取費用,光學字元辨識與語音轉譯等前處理亦無額外加價。經測試,其整體開銷僅為 Gemini 3.5 Flash-Lite 搭配傳統 API 的五分之一左右。
此外,模型的每次判斷都會附帶 0 至 1 之間的信心分數。一旦評分過低,系統即可自動轉接至高階模型或人工審核。目前此技術已整合至 Gemini Notebook 的問題難易度分流、搜尋團隊的安全檢查,以及 Vercel、LangChain 等開發者平台。
這代表什麼
這項技術標誌著企業導入人工智慧時,正從「生成內容」走向「精準與自動化決策」。過去在開發 AI 代理(AI Agent)時,哪怕只是判定一封客服郵件是否需要退款,或是挑選下一步要呼叫的程式工具,都必須調用大型語言模型(LLM)逐字撰寫回應,帶來昂貴的費用與不必要的等待時間。
Gemini Decisions API 將「邏輯判斷」與「長文生成」拆開,讓企業能以極低成本執行大量的前置篩選與自動化路由。這有助於中小企業在不暴增雲端預算的前提下,構建大規模且高回應速度的 AI 自動化工作流程。
背景補充
在構建複雜的 AI 代理系統時,「模型路由(Model Routing)」與「工具選擇(Tool Selection)」是維持系統效益的靈魂。所謂模型路由,指的是依據使用者輸入問題的複雜度,自動選擇處理的模型——簡易查詢由小模型秒回,困難任務才交給高階模型,藉此達到成本與速度最佳化。
傳統 LLM 的運算機制依賴解碼器逐字預測下一個 Token,對於封閉式的選項判斷不僅浪費算力,更可能產生不穩定或偏離指令的文本。Google 透過專門優化的分類模型,改為直接輸出各候選選項的機率分佈,為自動化系統提供更高穩定度且可經量化評估的判定依據。
常見問題
Gemini Decisions API 與一般的 Gemini LLM 有何不同?
一般 Gemini 模型主要用於生成長篇文字或程式碼,而 Gemini Decisions API 專為選項判斷與分類任務設計,不進行逐字解碼生成,能以更快的速度與極低成本傳回選項機率。
採用 Gemini Decision 1 模型可以節省多少成本?
該模型的輸入費用為每百萬 Token 0.1 美元,且完全不收取輸出 Token 費用,整體運算成本約為 Gemini 3.5 Flash-Lite 的五分之一。
企業可以在哪些情境應用 Decisions API?
可廣泛應用於客服郵件自動分流、商品照片與文件合規審核、AI 代理的工具選擇,以及根據問題難易度進行模型路由分流。