BotPsy 0.8B 端侧 Agent 拆解：不到 1B 的模型怎么在 BFCL v4 打出 44 分，还省下三分之二推理 token？

笔名：小六 / 上海 / 1995 女 / 某互联网公司工程师

先说结论

11 月 11 日，Tether AI Research 在 Hugging Face 博客发布 BotPsy：一个 0.8B 参数、专做函数调用与 Agent 工作流的端侧模型，底座是 Qwen3.5-0.8B，Apache 2.0 开源权重，同时放出 bf16 / Q8 / Q4 三种精度和 GGUF 文件。

我的结论：这条发布的价值不在「又一个 0.8B 模型」，而在于它证明了一件事——把后训练的全部预算压在「工具调用格式 + 何时不该调用 + 多轮状态保持」上，一个不到 1B 的模型可以在 BFCL v4 上从 23.4 翻到 44.0，还能在 τ²-bench 电信子集拿到 82.5，超过 2.5 倍参数量的 Qwen3.5-2B-Think。真正的分水岭是「知识」——MMLU-Pro 只有 48.9，比 2B 的 65.5 差一大截。所以它该被当成「会调工具的调度器」用，不该被当成「会答题的模型」用。

发生了什么

官方事实一：发布主体、时间与位置。 主来源是 Hugging Face 博客的 QVAC 栏目《BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model》，页面标注发布日期 2026 年 11 月 11 日，署名 Tether Data, S.A. de C.V.（对外称 Tether AI Research），作者包括 Milan Gritta、Jihye Back、JinUk Cho、ohjoon kwon、Patrik Lambert、Mathias Buus、Amril Nurman 等。原始 URL 与模型页见文末 Q&A。

官方事实二：它是什么、不是什么。 官方定义得很克制：BotPsy 是一个「用工具替用户做一系列简单任务」的个人助理，覆盖网页搜索与研究、出行与生活、商务与金融、企业与客户运营、设备与车辆控制、文件与文档、日历、邮件与消息八个域。开篇就写明「由于参数量小，最适合中低难度任务」，并且「仍会犯错，不适用于高风险场景」。这句话很重要——它不是被包装成通用助手，而是被包装成「任务路由器 + 工具执行器」。

官方事实三：训练配方公开了四个阶段。 官方给出完整流程：先做全参数 SFT（工具使用对话，含模拟环境的多轮轨迹、单次/并行/多步调用重放，以及「不该调用工具」的负样本），再做多教师在线策略蒸馏（MOPD），最后跑两轮强化学习。每一步以上一步的最佳 checkpoint 为起点，学习信号分别是「模仿参考轨迹」「更大教师模型的逐 token 分布」「基于规则的奖励」。这不是「一个 0.8B 微调了一下」，而是「三个 4B 专科教师 + 两轮可验证奖励」堆出来的。

相关事件（同日，另一条技术线）。 同在 11 月 10 日，Hugging Face 另一篇博客《Decision Models in Hugging Face》提出「决策模型」接口契约：状态 + 问题 + 允许答案 → 决策 + 概率分布，不再逐 token 生成文本，而是直接给选项打分。一篇讲「小模型怎么把工具调用做扎实」，一篇讲「结构化决策怎么绕开自回归解码」，同两天发布，构成一组值得一起读的对照：前者优化「调什么工具」，后者优化「怎么给出一个可被程序消费的答案」。

技术细节

1. 六个基准，五个第一，一个例外

官方表格给出的对照是五个模型：BotPsy-0.8B、底座 Qwen3.5-0.8B-Think、Qwen3.5-2B-Think（2.5 倍参数）、LFM2.5-1.2B-Think（1.5 倍）、MiniCPM5-1B-Think（1.25 倍）。六项工具调用与 Agent 基准的平均分：BotPsy 45.0，底座 24.7，2B 版 38.8，LFM2.5 25.3，MiniCPM5 22.7。

单项数字：

• BFCL v4：44.0（底座 23.4，2B 37.7，LFM2.5 28.1，MiniCPM5 22.8）
• ACEBench：58.7（底座 30.1，2B 55.4）
• τ-bench（retail / telecom / banking 均值）：51.5（底座 23.2，2B 46.5）
• ToolSandbox：64.6（底座 30.5，2B 41.2）
• BrowseComp-Plus：4.5（底座 1.9，2B 2.8）——五者最高，但绝对值很低
• Claw-Eval：46.5（底座 39.3，2B 48.9）——唯一被 2B 反超的一项

2. 最值钱的是「多轮」和「不该调用」

单次调用容易，多轮难。官方在 BFCL v4 多轮子项上从 7.5 拉到 46.1，接近 2B 版 23.8 的两倍；ACEBench Agent 从 7.9 到 28.3。τ²-bench 电信子集（要求 agent 在多轮里引导用户排障并遵守严格策略）拿到 82.5，底座与 2B 分别是未披露的低位与 69.3，MiniCPM5 74.0。

「知道自己不该调用」这一项更能说明训练意图：BFCL v4 的幻觉测试（没有合适工具时应当拒绝）BotPsy 86.1，是五者最高；ACEBench 特殊用例（请求不完整、参数错误、现有工具无法满足）51.3，底座只有 13.7。

3. 代价写在另外两张表里

工具调用变强不是白来的。指令跟随大幅提升：IFEval 59.7 → 90.8，IFBench 22.0 → 55.9（五者最高），Multi-IF 67.2。但 Multi-IF 分轮看，第一轮 84.3 最高，到第三轮掉到 51.0，低于 LFM2.5 的 56.5 与 2B 的 56.2——指令越堆越多，它衰减得越快。低资源语言也弱：印地语 24.5、俄语 57.6，而英语/中文/法语/西语/意语/葡语都在 72–80。

知识没有崩，但也没追上：GPQA Diamond 33.2 → 38.1，MMLU-Pro 41.6 → 48.9，是 ≤1.2B 一档里最好的，但 2B 版的 59.9 / 65.5 仍高出一截。官方自己也写清楚：「BotPsy 的设计是替不知道的事实去调工具，不是当知识模型用。」

4. 推理效率：少 token、少死循环

在同一批「五个模型都答对」的题目上比 token：GPQA Diamond 每答对一题用 3,690 个推理 token，底座 11,563（约 3.1 倍差距）；MMLU-Pro 1,912 对 5,105；IFEval 3,148 对 4,433；IFBench 4,204 对 11,576。

更关键的是「卡死率」：IFBench 全部尝试里，陷入重复推理循环的比例从 22.9% 降到 1.4%，撞 32k token 上限的从 28.3% 降到 0.2%。端侧跑 agent，最怕的不是答错，是原地打转到把上下文烧完——这两个数字直接对应延迟和电耗。

5. 安全与部署

自动化红队六个危害类别：不安全回复率 21%，底座 36%，LFM2.5 35%，MiniCPM5 47%——是 ≤1.2B 一档最低。提示注入攻击下（对「读不可信工具输出」的 agent 最关键）从 46% 降到 31%。

部署形态给得很实在：Apache 2.0，三种精度（bf16 / Q8 / Q4），Hugging Face safetensors 与 GGUF 双份，GGUF 面向 QVAC SDK 与 llama.cpp。也就是说，不需要任何云侧服务，一台手机或一台家用机就能把这条 agent 链路跑起来。

6. 应用分组的表现差得很开

按场景拆：简单场景（单轮、单工具调用）在每个应用组都落在 70–79，整体 75（底座 54，2B 70）。复杂场景（多轮或多工具）整体只有 39.5（底座 17.9，2B 30.8），其中「沟通与社交」61、「商务与服务」58、「设备与系统管理」46；「个人信息检索与研究」只有 15，单次调用同一组是 79——深度检索仍是这一档模型的硬短板，BrowseComp-Plus 全组都在个位数到十几分。

对 Agent / 工程的影响

立刻能用上的三类场景。 一是「本地意图路由」：把「这句话该进哪个工具/哪个域」交给 0.8B 决定，主模型只处理真正需要推理的那一步，省掉一次大模型调用。二是「端侧单工具执行」：日历、闹钟、文件、消息这类低风险动作，完全可以在设备上闭环，数据不出机器。三是「不该调用」的门卫：BFCL 幻觉子项 86.1 说明它擅长判断「现有工具不够用」，可以当作工具集外的兜底拒绝器，避免主模型硬编参数去调用一个不存在的工具。

需要进一步验证的两类。 一是多轮长会话：τ²-bench 电信 82.5 很亮眼，但 Multi-IF 第三轮掉到 51.0，说明指令累积会衰减；真接进生产要多轮压测，而不是只看单轮分。二是提示注入：31% 的不安全率仍是三分之一，读外部网页/邮件内容的 agent 必须外加一层规则过滤，不能把安全完全交给模型。

短期不要碰的两类。 一是深度检索与研究：BrowseComp-Plus 4.5、复杂检索组 15 分，用它做「多步找资料」会反复空转。二是高风险决策：官方明确说不适用于安全关键、金钱、个人信息、健康类自动化决策——这条边界要照抄，不要自己放宽。

和决策模型那条线的组合思路。 如果同时采用《Decision Models》那套「状态 + 问题 + 允许答案」的接口，理论上可以让 BotPsy 只负责「选工具」，把「给出结构化答案」交给决策模型直接打分，省掉两次自回归解码。两条线拼起来，才是「端侧 agent 成本可控」的完整形状——但这是组合推断，官方没有给联合评测，需要自己压测。

我的判断

该用，但只用在「调度层」。 0.8B 在 BFCL 44.0、τ-bench 51.5、幻觉拒绝 86.1 这组数字上，已经足够替代一部分「大模型先想一遍再调工具」的开销；把它放在工具选择与参数生成的位置，主模型负责真正需要知识的那一步，是当下最划算的分工。

不该用它替代知识模型。 MMLU-Pro 48.9 对 65.5 的差距不是训练能补的，是参数量决定的。让它答题，只会得到「格式漂亮、内容平庸」的输出。

开源权重 + GGUF 是这条发布的真正杠杆。 Apache 2.0 加三种精度，意味着它可以被塞进任何端侧链路而不绑定厂商；这比分数本身更能决定它会不会被工程团队真的采纳。

Q&A

Q1：来源/出处？
A：主源为 Hugging Face 博客《BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model》，发布者 Tether AI Research（Tether Data, S.A. de C.V.），发布日期 2026 年 11 月 11 日，原始 URL：https://huggingface.co/blog/qvac/botpsy ；模型权重页 https://huggingface.co/qvac/BotPsy-0.8B ，GGUF 页 https://huggingface.co/qvac/BotPsy-0.8B-GGUFs 。对照阅读：《Decision Models in Hugging Face》，2026 年 11 月 10 日，https://huggingface.co/blog/decision 。评测口径见原文 Evaluation Footnotes：外部 API 类基准统一在 2026 年 11 月 3 日跑，全部模型都在 thinking 模式下评测。

Q2：能不能复现/怎么验证？
A：最小步骤是拉 GGUF 用 llama.cpp 起本地服务，跑一组「有工具 / 无工具」的对照请求：先给一个明确可用的工具集，看它是否选中正确工具并给出合法参数；再给一个工具集里根本没有的能力，看它是否拒绝而不是硬编。两轮都过，才算「幻觉拒绝」这项真的生效。注意别只看单轮——多轮要连续给 3 轮以上累积指令，观察第三轮是否还守得住。

Q3：适用边界是什么？
A：官方边界写得很清楚：中低难度任务、以英语为主、不适用于安全关键或高风险自动化决策，也不适用于涉及金钱、个人信息、健康的场景。工程侧还要加两条：深度检索（BrowseComp-Plus 4.5、复杂检索组 15）不要用；低资源语言（印地语 24.5、俄语 57.6）不要用。

Q4：和其他方案对比？
A：同尺寸对比看平均分就够了——BotPsy 45.0，底座 24.7，LFM2.5-1.2B 25.3，MiniCPM5-1B 22.7。跨尺寸对比更有意思：它平均分高于 2.5 倍参数的 Qwen3.5-2B-Think（38.8），只在 Claw-Eval 上落后（46.5 对 48.9）。但知识维度反过来：MMLU-Pro 48.9 对 65.5。所以「同尺寸最强」成立，「跨尺寸全面更强」不成立。

Q5：风险/坑？
A：三个。一是把「平均分第一」误读成「全面更强」——六个基准里它输了一项，知识维度输得更多。二是忽略提示注入的 31% 不安全率，把外部内容直接喂给它做工具决策。三是训练配方被低估：四阶段 SFT → 多教师蒸馏 → 两轮 RL，其中教师是三个各自 RL 过的 4B 专科模型；想照抄配方的人要有对应的教师资源和可验证奖励环境，不是「一个 LoRA 就完事」。

字数自检：≥1500 个中文字符（不含 frontmatter）
隐私自检：无内网 IP、无真实机器名、无凭据、无本地路径协议前缀、无占位域名
文件名：2026-11-11-botpsy-0.8b-on-device-agentic-tool-use.md（唯一）
封面 seed 含日期 + 主题 slug，未复用