Margrop
Articles314
Tags808
Categories6

Categories

1password 24GB VRAM 2K 3-SAT 3.6 Flash 30B dense 4-bit 量化 6-DoF SLAM AC ACP AI & Economy ATLAS AI Agent AI Coding Assistant AI Tech AI Workflow AI tutor AI 基础设施 AI 安全 AI 工程 AI 应用 AI 日记 AI 生产力 AI编程助手 ALTK-Evolve AMIE AP API API 定价 API 稳定性 API 降价 ARC-AGI-3 ASR ATEM chat 模板 AUTOMATIC1111 Agent Agent Harness Agent Memory Agent 入侵 Agent 可靠性 Agent 工程 Agent 推理 Agent 架构 Agent 检索 Agent 沙箱 Agent 系统 Agent 训练 Agent 记忆 Agent 评测 Agent 路由 Agentic AI Agentic SOC Agentic tools Ai2 Alertmanager AllenAI Android 17 Antigravity Apertus 1.5 AppDaemon AppWorld Apple Silicon Aqara Astra Async GRPO Attention AutoSynthData Baseten Benchmark CC-Switch CI/CD CLI Tools CLI工具 COBOL CPU 推理 Cache Hit Rate Caddy ChatGPT Claude Code Claude Sonnet ClawLoader Code Interpreter CodeMender Codex Coding Agent ComfyUI Computer Use Cookie 认证 Cosmos DB Cosmos-H-Dreams Cost Optimization Cron Cybersecurity DFIR DSpark Date DeepSeek DeepSeek V4 Flash Diagrams.net Diary Diffusers Diffusion Docker Efficiency Tools Embedding English Evaluation Cards FSDP2 Fable 5 Falcon ASR Fireworks AI FlashAttention FlashDreams Frontier AI Function Calling Funes GGUF GLM 5.2 GLM-5.2 GPT-4.1 GPT-5.6 GPT-5.6 Sol GPT-6 GPT-6 Astra GPT-6.2 GPT-Live GPT-Live-1 GPT-Red GPU 云 GPU 加速 GPU 性能分析 GPU 集群 GRPO Gated DeltaNet Gateway Gemini Gemini 3.5 Flash Gemini 3.7 Flash Gemini 3.8 Gemini 4 Argon Gemini API Gemini CLI Gemini Omni Flash Gemma 4 12B Gemma Translator Gemma4 GitHub Actions Google Google AI Google Beam Google Data Commons Google DeepMind Google Research Google Sheets Grabette Gradio Gradio Workflow Granite Gripette HA HADashboard HF Security Incident Hailuo Hermes Hexo Holo4 HomeAssistant Hugging Face IBM Granite IBM Research In-context Learning Inference Providers Isaac Lab Isaac Sim JSON Output JSON Schema Java KV cache KV 缓存 Kimi K3 Kubernetes LFM2.5 LFM2.5-VL LLM LLM Router LLM 安全 LLM 工程 LLM 评测 LVM‑Thin Late Interaction LeRobot Lean Linux Liquid AI LiquidAI Live Translate LoRA Luna MCP MLX MTP MacOS Magpie TTS Managed Agents Meta Microsoft 365 Copilot MiniMax Mistral Mistral Shieldstral MoE MoE 缓存 Model Routing MuJoCo Warp Multi-Agent Multi-Vector MultiLangBench Muse Glimmer Muse Spark Open MySQL NAS NIM NVIDIA NeMo Automodel NeMo Data Designer Nemotron Nemotron 3 Embed NeoMME Newton Nginx Node.js Nunchaku OCR OOM OlmoEarth On-device AI Open Source OpenAI OpenAI Codex OpenAI 兼容 OpenClaw OpenCode OpenResty OpenRouter OpenUSD OpenWrt PII 检测 Physical AI Pollen Robotics Portainer PostgreSQL ProcessOn Project Astra Prometheus Prompt Caching Prompt Injection Prompt 缓存 Proxmox VE PyTorch Qwen3 Qwen3-VL Qwen3.6 RAG RPC RTEB Real-Time Inference Red Teaming Reflection Beam Responses API SNAP SOCKS5 SPED SVDQuant SWE-Bench Schema Scientific Computing Self-Forcing Distillation Sentence Transformers Session Sheets canvas Shell Sol Speech-to-Text StateBench Storage Buckets Strands Agents Subagent Surgical Robotics TRL TTS Tabular Terra Think button TimeMachine Tokenizer ToyBlocks Transformers TutorMoments UML Uptime Kuma V4-Pro VLA VPS Voice Agent VoiceEQ WARP WebRTC WebSocket Windows World Foundation Model XY问题 agent agentic aligenie aliyun allenai annotation aop autofs backup bash bitwarden boot brew browser budget control centos cert certbot charles chat chrome classloader client clone closures cloudflare command commit commoditization container crontab cyber capability demo dependency deploy developer devtools dll dns docker domain download drafter draw drawio dsm dump dylib environment hooks exception fail-closed fail2ban feign firewall-cmd flow flow matching free tier frontier hosted model frp frpc frps fuckgfw full-duplex function gfw git github gperftools gridea grub guardrail lockout gvt-g hacs havcs heap hello hexo hibernate hidpi hoisting homeassistant hosts html htmlparser https huggingface_hub iKuai iMessage image img img2kvm immortalwrt import index inference cost install intel io ios ip iptables iso java javascript jni jnilib jpa js json jsonb jupter jupyterlab jvm k8s kernel key kvm lastpass launchctl learning letsencrypt linux llama.cpp low-code lvm mac mariadb markdown maven md5 microcode mirror modules monitor mount mstsc multimodal mysql n5105 network nfs node node-red nodejs nohup notepad++ npm nssm ntp oop open d1 open weights openfeign openssl os ovz packet capture pdf pem perf pip plugin png powerbutton print pro productive struggle pve pvekclean python qcow2 qemu qemu-guest-agent rar reasoning control reasoning slider reboot reflog remote remote desktop renew repo resize retina router runtime safari sata scaffolding scheduled triggers scipy-notebook scoping scp self-play server serverless inference silent test simulated student so speculative decoding spk spring springboot springfox ssh ssl stash string support svg svn swagger sync synology systemctl systemd template terminal token 效率 txt ubuntu ui undertow unlocker upgrade vLLM vhd vim vm vmdk web windows with worker xml yum zai-org/GLM-5.2 zip 一致性评测 上下文压缩 上下文工程 上下文结构 专家剪枝 世界模型 事件响应 交换机 人才争夺 人机协作 代理 代码生成 代码迁移 仿真基准 企业 AI 企业自动化 优化 低延迟 低资源编程语言 供应链 健康检查 光猫 免费层 具身智能 内存 内存优化 内网渗透 决策模型 分布式存储 分布式推理 分布式训练 医疗 AI 升级 卫星影像 反向代理 反诉 可复现性 合成数据 后训练配方 向量检索 启动 告警 告警优化 图像生成 地球观测 地理空间推理 基准评测 基础设施 复盘评测 夏令时 多 token 预测 多向量检索 多智能体 多模型编排 多模态 多模态 AI 多模态 API 多模态 Agent 多模态交互 多模态检索 多模态模型 多语言 多语言 AI 大厂人才战 大模型评测 天猫精灵 安全 安全事件 安全基础设施 安全对齐 安全评测 安全运营 安装 定时任务 实时协作 实时语音 客户端 SDK 容器 对齐 导入 小模型 小米 屏幕理解 工作流编排 工具审计 工具调用 工具调用拦截 工程团队 工程实践 工程笔记 常用软件 应用市场 延迟优化 开权重 开源权重 开源模型 异常 异步任务 异步委派 强化学习 形式化验证 微信 心跳 性能优化 性能捕捉 成本优化 成本控制 扩散模型 技术 抓包 拒答校准 持续预训练 指令数据分离 按 provider 优先级 授权链 排查 推测解码 推理加速 推理引擎 推理成本 推理服务 推理模型 推理速度 推理预算 描述文件 提示注入 提示词敏感性 搜索 API 故障排查 效率工具 教育数据开源 教育评测 数学推理 数据工作流 数据治理 数据流 数据管线 数据集偏差 文本编码器 文档解析 旁路由 日志分析 日记 时区 显卡虚拟化 显存优化 智能家居 智能音箱 服务管理 本地 Agent 本地 agent 本地推理 机器人仿真 机器人学习 机器人数据采集 架构 标记语言 模块 模型压缩 模型发布 模型微调 模型快照 模型推理 模型评测 模型路由 残存访问 流式推理 流程 流程图 浏览器 混合专家 漫游 火绒 状态追踪 生成式影像 电信 画图 监控 监控系统 监管 知识蒸馏 磁盘 科研 Agent 科研自动化 稀疏注意力 立体声 端侧 AI 端侧推理 端口 端口冲突 端口扫描 结构化抽取 结构化输出 续期 网关 网络 网络安全 网络风暴 置信度 群晖 脚本 脚本优化 腾讯 自动化 自动恢复 自动攻击 自部署 苹果 虚拟机 表格基础模型 视觉语言模型 视频生成 视频问诊 计算复杂性 认证 训练基础设施 证书 评测 评测基准 评测方法学 诉讼 语义化版本 语用学 语音 AI 语音 Agent 语音识别 资产验证 资源调度 超时 路由 路由器 软件工程 软件测试 软件管家 软路由 边缘 AI 运维 运维监控 连接保活 连接问题 通信机制 通知 邮件漏发 部署 配置 量化 量子计算 钉钉 镜像 镜像源 长上下文 长任务编排 长连接 门窗传感器 问题排查 防火墙 阿里云 阿里源 集客 非人类身份 飞书

Hitokoto

Archive

Gemini Decisions API 拆解:Agent 如何用一次前向计算把路由、审核和多模态判断变快?

Gemini Decisions API 拆解:Agent 如何用一次前向计算把路由、审核和多模态判断变快?

Gemini Decisions API:把生成式调用拆成可校准的决策

先说结论

Google 在 2026 年 11 月 11 日发布 Gemini Decisions API,核心不是再做一个“更会聊天”的模型,而是给 Agent 增加一个专门回答“在有限选项里该选什么”的决策层。它可以把文本、图片、音频、视频和 PDF 放进同一次输入,对最多 1000 个独立问题一次计算,返回选择结果、概率和置信度,而不是逐 token 生成长答案。

我的判断是:这类接口很适合做模型路由、工具筛选、策略审核和上下文质量判断,但不应该替代需要开放式推理的主模型。 150–250 毫秒端到端延迟、每百万输入 token 0.10 美元且不收输出 token 费用,让它有机会成为 Agent 的“快速控制平面”;真正的难点则从“模型会不会回答”变成“候选项和判定标准是不是定义得好”。

发生了什么

Google DeepMind 在官方博客发布《Gemini Decisions API: Fast, calibrated multimodal decisions》,页面发布日期为 2026 年 11 月 11 日。官方称该 API 由新模型 Gemini Decision 1 驱动,通过 Gemini API 和 Google AI Studio 提供,面向封闭集合决策:是/否判断、多选题和有序评分。

原始来源:

官方事实是:一次请求可以共享同一份多模态输入,并附带最多 1000 个问题;支持最长 256K token 的输入,官方给出的端到端延迟是 150–250 毫秒,其中模型计算的中位数为 50–100 毫秒;价格是每百万输入 token 0.10 美元,输出 token 不计费。我的判断是:它把许多过去必须“让大模型写一段解释”的任务,重新变成了可度量、可缓存、可降级的分类接口。

这不是 Google 第一次把模型放进工程控制环,但这次的产品边界更清楚:它不鼓励模型自由生成,而是要求调用方先定义候选答案、问题类型和评分标准。对 Agent 来说,这意味着决策可以从主对话链路中拆出来,变成一个有独立延迟预算和失败策略的组件。

技术细节

1. 一份输入,三种决策

Gemini Decision 1 的输入沿用 Interactions API 的 Content block 形式。文本、图片、音频、视频和 PDF 可以放在同一份输入中,随后对这份共享材料提出多组问题。官方列出三种问题类型:

  • Yes/No:判断一个条件是否成立,并可分别写出“真”和“假”的判定标准;
  • Choice:从 2 到 255 个候选项中选出一个,同时返回所有候选的归一化概率;
  • Score:按照有序标准给出连续分数,并返回每个等级的概率。

这三种类型看似普通,关键差异在于它们共享一次输入编码。假设一个质检 Agent 需要检查一张照片、一段录音和一份维修单:传统做法可能先调用视觉模型,再调用文本模型,再让语言模型汇总;Decisions API 可以让多个问题围绕同一份材料同时计算,例如“是否存在安全隐患”“下一步该派哪类人员”“严重程度属于哪一级”。

官方示例把一张休息区台面的照片和文字说明放在同一请求中,然后同时判断是否有液体洒落、该采取哪种清理动作,以及现场严重程度。这个例子不复杂,但它说明了接口的工程形态:问题不是让模型写报告,而是让程序拿到结构化的候选选择和置信度。

2. 为什么“零输出 token”重要

生成式 API 的成本和延迟通常随着输出长度增长。即使最终只需要一个路由标签,模型也可能先生成解释、再由程序解析标签。Decisions API 直接返回概率与分数,官方称在共享 benchmark 上,相比 Gemini 3.5 Flash-Lite 搭配 Interactions API,整体成本接近低 5 倍。

更重要的是,它降低了“解析自由文本”的风险。程序不必从“我认为应该选择方案 A,因为……”里抽取方案 A,而是读取明确的选择结果、概率分布和置信度。对于需要审计的 Agent,这意味着日志可以记录规则版本、候选集合、模型置信度和最终动作,少依赖自然语言解释。

但这里有一个边界:概率不是事实证明。一个候选项得到 0.92,不代表它在现实世界中必然正确,只代表模型在给定输入、问题和候选定义下的相对判断更稳定。安全策略仍然需要确定性规则、人审阈值和拒绝路径。

3. 多问题并行与校准

官方说,问题数量从 1 增加到 100 时,延迟保持接近扁平;这正是批量决策的价值。模型路由器可以一次评估“是否需要深度推理”“是否包含代码”“是否需要视觉能力”“是否涉及高风险内容”,再决定后续走哪条链路。

官方博客还强调 calibration,也就是置信度与真实正确率之间的匹配程度。对 Agent 来说,校准比单一准确率更实用:高置信度结果可以直接走自动路径,中等置信度交给第二模型复核,低置信度则转人工或返回“无法判断”。如果只有一个准确率数字,却没有置信度,系统很难设计可靠的降级策略。

对 Agent / 工程的影响

1. 把路由器从提示词技巧变成独立服务

很多 Agent 目前用一个大提示词完成意图识别、工具选择和任务执行。问题是:提示词越长,主模型越慢;选择错误时,后面的工具调用已经产生了成本。Decisions API 可以放在入口处,先做一个轻量控制面:简单问题走便宜模型,复杂问题走深度模型,需要图像时才启用视觉链路,低置信度时要求补充材料。

这会带来更清晰的观测指标。工程团队可以分别统计“决策层延迟”“路由命中率”“低置信度比例”和“下游任务成功率”,而不是把所有错误都归因到一个聊天模型。

2. 工具选择要先限定候选集

工具调用是它很自然的场景,但不能把几十个工具的完整描述无差别塞进去,再期待模型稳定选择。更好的做法是先由规则做粗筛,再让 Decisions API 在少量候选中做选择,并把每个候选的适用条件写成可测试标准。比如“查询订单”“修改地址”“人工转接”三个选项,各自定义明确的输入证据和禁止条件。

如果候选集合会随版本变化,必须把候选列表和规则版本一起记录。否则同样的输入,在工具新增后可能得到不同选择,问题却无法复现。

3. 多模态质检和内容审核更容易落地

它原生接收图片、音频、视频和 PDF,因此适合做“先判断,再决定是否调用重模型”的前置层。比如视频抽帧后判断是否值得进入详细分析,PDF 与照片一起判断材料是否齐全,录音与业务字段一起判断是否需要人工复核。

不过“多模态输入”不等于“任何格式都可靠”。分辨率、音频质量、扫描件清晰度和上下文长度都会影响判断。上线前需要用真实分布做阈值评估,不能只拿官方 demo 的干净样本验收。

4. 成本下降不等于系统可以无限并发

每百万 token 0.10 美元很有吸引力,但输入仍然计费,且大批量问题会放大上游限流和重试压力。工程上应设置请求体大小、问题数量、超时和并发上限;对相同材料的重复判断可以缓存;对低风险的确定性规则,不要为了“统一 AI 化”而调用模型。

我的判断

第一,值得把 Gemini Decisions API 当作 Agent 的决策层候选,而不是主模型替代品。第二,最有价值的落点是路由、审核和上下文评分,因为这些任务天然有有限候选和明确降级。第三,真正决定效果的不是“模型有多强”,而是候选项、判定标准、置信度阈值和人工兜底是否被工程化;这些没做好,低延迟只会让错误更快发生。

Q&A

Q1:来源和发布日期是什么?
A:主源是 Google 官方博客《Gemini Decisions API: Fast, calibrated multimodal decisions》,发布日期为 2026-11-11,原文地址是 https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/。接口文档见 https://aistudio.google.com/docs/decisions-api。

Q2:它和普通 Gemini 生成调用最重要的区别是什么?
A:普通调用通常生成文本;Decisions API 让调用方定义问题和候选项,返回选择、概率、置信度或评分。它更适合程序直接消费,而不是生成长篇解释。

Q3:能不能直接拿它做 Agent 的全部决策?
A:不能。它适合封闭集合判断,不适合开放式规划、复杂长链推理和需要创造性输出的任务。高风险动作仍应叠加规则校验、权限控制和人工复核。

Q4:最小验证应该看哪些指标?
A:至少看端到端延迟、不同置信度区间的真实准确率、低置信度占比、路由后的任务成功率、输入 token 成本,以及候选集合变化前后的回归结果。不要只看平均准确率。

Q5:什么时候不建议使用?
A:如果任务本来就能用正则、Schema 验证或确定性业务规则解决,不要引入模型;如果候选项无法稳定定义,或者错误后没有安全降级路径,也不应把它放进自动执行链路。


字数自检:正文约 4300 字符,超过最低要求。
隐私自检:未包含内部网络地址、真实机器标识、用户信息或认证凭据。
封面 seed:包含日期与主题 slug,未与其他栏目复用。
categories:ai_tech。

本文阅读量 --
Author:Margrop
Link:https://blog.margrop.com/post/2026-11-19-gemini-decisions-api/
版权声明:本文采用 CC BY-NC-SA 3.0 CN 协议进行许可