Margrop
Articles315
Tags810
Categories6

Categories

1password 24GB VRAM 2K 3-SAT 3.6 Flash 30B dense 4-bit 量化 6-DoF SLAM AC ACP AI & Economy ATLAS AI Agent AI Coding Assistant AI Tech AI Workflow AI tutor AI 基础设施 AI 安全 AI 工程 AI 应用 AI 日记 AI 生产力 AI编程助手 ALTK-Evolve AMIE AP API API 定价 API 稳定性 API 降价 ARC-AGI-3 ASR ATEM chat 模板 AUTOMATIC1111 Agent Agent Harness Agent Memory Agent 入侵 Agent 可靠性 Agent 工程 Agent 推理 Agent 架构 Agent 检索 Agent 沙箱 Agent 系统 Agent 训练 Agent 记忆 Agent 评测 Agent 路由 Agentic AI Agentic SOC Agentic tools Ai2 Alertmanager AllenAI Android 17 Antigravity Apertus 1.5 AppDaemon AppWorld Apple Silicon Aqara Astra Async GRPO Attention AutoSynthData Baseten Benchmark CC-Switch CI/CD CLI Tools CLI工具 COBOL CPU 推理 Cache Hit Rate Caddy ChatGPT Claude Code Claude Sonnet ClawLoader Code Interpreter CodeMender Codex Coding Agent ComfyUI Computer Use Cookie 认证 Cosmos DB Cosmos-H-Dreams Cost Optimization Cron Cybersecurity DFIR DSpark Date DeepSeek DeepSeek V4 Flash Diagrams.net Diary Diffusers Diffusion Docker Efficiency Tools Embedding English Evaluation Cards FSDP2 Fable 5 Falcon ASR Fireworks AI FlashAttention FlashDreams Frontier AI Function Calling Funes GGUF GLM 5.2 GLM-5.2 GPT-4.1 GPT-5.6 GPT-5.6 Sol GPT-6 GPT-6 Astra GPT-6.2 GPT-Live GPT-Live-1 GPT-Red GPU 云 GPU 加速 GPU 性能分析 GPU 集群 GRPO Gated DeltaNet Gateway Gemini Gemini 3.5 Flash Gemini 3.7 Flash Gemini 3.8 Gemini 4 Argon Gemini API Gemini CLI Gemini Omni Flash Gemma 4 12B Gemma Translator Gemma4 GitHub Actions Google Google AI Google Beam Google Data Commons Google DeepMind Google Research Google Sheets Grabette Gradio Gradio Workflow Granite Gripette HA HADashboard HF Security Incident Hailuo Hermes Hexo Holo4 HomeAssistant Hugging Face IBM Granite IBM Research In-context Learning Inference Providers Isaac Lab Isaac Sim JSON Output JSON Schema Java KV cache KV 缓存 Kimi K3 Kubernetes LFM2.5 LFM2.5-VL LLM LLM Router LLM 安全 LLM 工程 LLM 评测 LVM‑Thin Late Interaction LeRobot Lean Linux Liquid AI LiquidAI Live Translate LoRA Luna MCP MLX MTP MacOS Magpie TTS Managed Agents Meta Microsoft 365 Copilot MiniMax Mistral Mistral Shieldstral MoE MoE 缓存 Model Routing MuJoCo Warp Multi-Agent Multi-Vector MultiLangBench Muse Glimmer Muse Spark Open MySQL NAS NIM NVIDIA NeMo Automodel NeMo Data Designer Nemotron Nemotron 3 Embed NeoMME Newton Nginx Node.js Nunchaku OCR OOM OlmoEarth On-device AI Open Source OpenAI OpenAI Codex OpenAI 兼容 OpenClaw OpenCode OpenResty OpenRouter OpenUSD OpenWrt PII 检测 Physical AI Pollen Robotics Portainer PostgreSQL ProcessOn Project Astra Prometheus Prompt Caching Prompt Injection Prompt 缓存 Proxmox VE PyTorch Qwen Qwen3 Qwen3-VL Qwen3.6 RAG RPC RTEB Real-Time Inference Red Teaming Reflection Beam Responses API SNAP SOCKS5 SPED SVDQuant SWE-Bench Schema Scientific Computing Self-Forcing Distillation Sentence Transformers Session Sheets canvas Shell Sol Speech-to-Text StateBench Storage Buckets Strands Agents Subagent Surgical Robotics TRL TTS Tabular Terra Think button TimeMachine Tokenizer ToyBlocks Transformers TutorMoments UML Uptime Kuma V4-Pro VLA VPS Voice Agent VoiceEQ WARP WebRTC WebSocket Windows World Foundation Model XY问题 agent agentic aligenie aliyun allenai annotation aop autofs backup bash bitwarden boot brew browser budget control centos cert certbot charles chat chrome classloader client clone closures cloudflare command commit commoditization container crontab cyber capability demo dependency deploy developer devtools dll dns docker domain download drafter draw drawio dsm dump dylib environment hooks exception fail-closed fail2ban feign firewall-cmd flow flow matching free tier frontier hosted model frp frpc frps fuckgfw full-duplex function gfw git github gperftools gridea grub guardrail lockout gvt-g hacs havcs heap hello hexo hibernate hidpi hoisting homeassistant hosts html htmlparser https huggingface_hub iKuai iMessage image img img2kvm immortalwrt import index inference cost install intel io ios ip iptables iso java javascript jni jnilib jpa js json jsonb jupter jupyterlab jvm k8s kernel key kvm lastpass launchctl learning letsencrypt linux llama.cpp low-code lvm mac mariadb markdown maven md5 microcode mirror modules monitor mount mstsc multimodal mysql n5105 network nfs node node-red nodejs nohup notepad++ npm nssm ntp oop open d1 open weights openfeign openssl os ovz packet capture pdf pem perf pip plugin png powerbutton print pro productive struggle pve pvekclean python qcow2 qemu qemu-guest-agent rar reasoning control reasoning slider reboot reflog remote remote desktop renew repo resize retina router runtime safari sata scaffolding scheduled triggers scipy-notebook scoping scp self-play server serverless inference silent test simulated student so speculative decoding spk spring springboot springfox ssh ssl stash string support svg svn swagger sync synology systemctl systemd template terminal token 效率 txt ubuntu ui undertow unlocker upgrade vLLM vhd vim vm vmdk web windows with worker xml yum zai-org/GLM-5.2 zip 一致性评测 上下文压缩 上下文工程 上下文结构 专家剪枝 世界模型 事件响应 交换机 人才争夺 人机协作 代理 代码生成 代码迁移 仿真基准 企业 AI 企业自动化 优化 低延迟 低资源编程语言 供应链 健康检查 光猫 免费层 具身智能 内存 内存优化 内网渗透 决策模型 分布式存储 分布式推理 分布式训练 医疗 AI 升级 卫星影像 反向代理 反诉 可复现性 合成数据 后训练配方 向量检索 启动 告警 告警优化 图像生成 地球观测 地理空间推理 基准评测 基础设施 复盘评测 夏令时 多 token 预测 多向量检索 多智能体 多模型编排 多模态 多模态 AI 多模态 API 多模态 Agent 多模态交互 多模态检索 多模态模型 多语言 多语言 AI 大厂人才战 大模型评测 天猫精灵 安全 安全事件 安全基础设施 安全对齐 安全评测 安全运营 安装 定时任务 实时协作 实时语音 客户端 SDK 容器 对齐 导入 小模型 小米 屏幕理解 工作流编排 工具审计 工具调用 工具调用拦截 工程团队 工程实践 工程笔记 常用软件 应用市场 延迟优化 开权重 开源权重 开源模型 异常 异步任务 异步委派 强化学习 形式化验证 微信 心跳 性能优化 性能捕捉 成本优化 成本控制 扩散模型 技术 抓包 拒答校准 持续预训练 指令数据分离 按 provider 优先级 授权链 排查 推测解码 推理加速 推理引擎 推理成本 推理服务 推理模型 推理速度 推理预算 描述文件 提示注入 提示词敏感性 搜索 API 故障排查 效率工具 教育数据开源 教育评测 数学推理 数据工作流 数据治理 数据流 数据管线 数据集偏差 文本编码器 文档解析 旁路由 日志分析 日记 时区 显卡虚拟化 显存优化 智能家居 智能音箱 服务管理 本地 Agent 本地 agent 本地推理 机器人仿真 机器人学习 机器人数据采集 架构 标记语言 模块 模型压缩 模型发布 模型微调 模型快照 模型推理 模型评测 模型路由 模型适配 残存访问 流式推理 流程 流程图 浏览器 混合专家 漫游 火绒 状态追踪 生成式影像 电信 画图 监控 监控系统 监管 知识蒸馏 磁盘 科研 Agent 科研自动化 稀疏注意力 立体声 端侧 AI 端侧推理 端口 端口冲突 端口扫描 结构化抽取 结构化输出 续期 网关 网络 网络安全 网络风暴 置信度 群晖 脚本 脚本优化 腾讯 自动化 自动恢复 自动攻击 自部署 苹果 虚拟机 表格基础模型 视觉语言模型 视频生成 视频问诊 计算复杂性 认证 训练基础设施 证书 评测 评测基准 评测方法学 诉讼 语义化版本 语用学 语音 AI 语音 Agent 语音识别 资产验证 资源调度 超时 路由 路由器 软件工程 软件测试 软件管家 软路由 边缘 AI 运维 运维监控 连接保活 连接问题 通信机制 通知 邮件漏发 部署 配置 量化 量子计算 钉钉 镜像 镜像源 长上下文 长任务编排 长连接 门窗传感器 问题排查 防火墙 阿里云 阿里源 集客 非人类身份 飞书

Hitokoto

Archive

Harness Adapter 拆解:同一个模型为什么要为不同 Agent 框架分别训练?

Harness Adapter 拆解:同一个模型为什么要为不同 Agent 框架分别训练?

Harness Adapter:让模型适配真实 Agent 执行框架

先说结论

Hugging Face 在 2026 年 11 月 20 日发布的 Harness Adapters 实验,给 Agent 工程提出了一个很实际的问题:模型能力不是脱离运行环境存在的,同一个模型放进不同 Agent 框架,工具协议、提示模板、重试方式和轨迹长度都会改变最终表现。因此,针对具体 harness 和任务分布训练一个 LoRA 适配器,可能比继续把通用模型做得更大更有效。

官方最醒目的结果是:Qwen3.8-27B 在 pi 框架上跑 Terminal-Bench 2.1 时,基础模型 pass@1 为 39%,平均每题消耗约 2.9K token;加入针对 pi 训练的强化学习 LoRA 后,成绩升到 55%,平均 token 降到 1.5K。换句话说,适配器同时改善了“做不做对”和“要走多少步”。

我的判断是:Harness Adapter 值得作为中型 Agent 团队的专项优化路线,但不应该被理解成“给每个框架训练一个模型”这么简单。真正重要的是让训练时的 Agent 执行循环和上线时保持一致,并且用可靠的验证器定义什么叫完成;否则强化学习只会把错误的工具习惯学得更牢。

发生了什么

主来源是 Hugging Face 官方博客《Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost》,发布日期为 2026 年 11 月 20 日:

官方事实是:研究团队冻结 Qwen3.8-27B 的基础权重,分别在 Pi、OpenCode 和 Hermes Agent 三个真实 harness 内训练 LoRA;训练使用 TRL 的 AsyncGRPOTrainer、OpenEnv 和 Harbor,任务、训练与 Agent rollout 都可以在 Hub Jobs 中运行。每个 harness 都有自己的适配器,另外还把三份 LoRA 合并成一个可以跨三种 harness 使用的 super-adapter。

我的判断是:这篇文章的真正贡献不是某个单一分数,而是把“模型—Agent 框架—任务分布”看成一个联合优化对象。过去大家习惯问“哪个模型最强”,现在更应该问“哪个模型在我的执行循环里最省步骤、最少工具调用,并且能稳定通过我的验证器”。

技术细节

1. 训练的不是抽象模型,而是完整执行循环

很多强化学习 Agent 工作把 Agent loop 重新实现一遍:框架自己定义消息格式、工具接口和 rollout 逻辑,模型在这个简化环境里学习。但 Harness Adapters 的做法不同:让目标 harness 按它原本的方式运行,训练器只通过代理记录它产生的 token 和工具轨迹。

这点很关键。Pi、OpenCode 与 Hermes Agent 的差异不只在名字:它们可能使用不同的系统提示、工具描述、上下文拼接顺序、命令执行方式和失败重试策略。训练阶段如果把这些细节抹平,最终得到的优化很可能只对“训练用的仿真 loop”有效;上线后换回真实 harness,模型的工具节奏就可能失效。

官方最终镜像使用的版本是 Pi 1.5.2、OpenCode 2.2.7 和 Hermes Agent v0.22.6。这里的版本信息不是装饰,而是复现条件的一部分:升级 harness 后,提示模板或工具返回格式变化,旧适配器的收益就需要重新验证。

2. 任务集必须同时满足“能评分”和“值得训练”

强化学习最容易被低估的不是优化器,而是任务与验证器。官方给出的原则很直接:任务必须可以执行,验证器必须能判断结果,而且要有证据证明验证器本身没有把错误答案判成正确答案;如果基础模型已经轻松完成任务,这道题也没有训练价值。

团队把任务来源合并成一条流水线:SWE-smith 通过真实 Python 与 Go 仓库注入缺陷,SWE-Gym 把真实问题和已合并修复转成任务,Tasksmith 则从已合并的变更生成任务。所有任务先经过资格筛选、Harbor 打包与 openenv validate,再用 Qwen3.8-27B 基础模型做难度检查。

这个流程的工程含义是:训练数据不是“越多越好”,而是要同时有真实缺陷、可运行环境、可信测试和适中的难度。没有验证的自动生成任务会把奖励模型带偏;大量基础模型本来就能做的题,则会消耗训练预算而不带来能力变化。

3. AsyncGRPO 如何控制训练成本

最终适配器基于 Qwen/Qwen3.8-27B,使用 TRL 的 AsyncGRPOTrainer,LoRA 采用 all-linear 方式挂载。训练 rollout 阶段关闭 thinking,奖励由验证器正确性和一个小的工具效率奖励组成,工具效率奖励权重为 0.1。

官方还记录了一个很有价值的训练经验:学习率为 5e-5 的较长训练出现 rollout 长度塌缩和熵上升,最终采用 2e-5。这说明“工具调用变少”与“模型不再认真做事”之间只有一线之隔,效率奖励不能脱离正确性奖励单独最大化。

基础设施上,每个适配器使用两张 B200:一张运行 vLLM,另一张负责训练。最终数据混合包括 750 个 harness-adapters 强化学习环境任务和 300 个 termgrade 环境任务。训练累计 598 steps、78,114 个样本、约 167M 训练 token。

4. 专用适配器与 super-adapter 的取舍

三份专用适配器分别针对 Pi、Hermes Agent 和 OpenCode。为了做跨框架版本,团队把三份 LoRA 沿 rank 维拼接,得到 rank 96 的 super-adapter,并比较三种合并权重:三分之一、二分之一和直接相加。

在 Terminal-Bench 2.1 的 89 道任务上,基础模型在三个 harness 的平均 pass@1 为 43.3%,工具调用平均 49.2 次;权重为二分之一的 super-adapter 平均 pass@1 为 52.5%,工具调用降到 25.9 次。直接相加虽然让 Hermes Agent 达到 62.8%,但 Pi 又跌回接近基础模型,平均工具调用进一步降到 13.4 次——这不是纯粹的胜利,更像是模型过度激进地提前结束。

最终的二分之一权重是一个折中:它没有完全保留每个专用适配器的峰值,但跨三种 harness 更稳定。官方也明确建议,如果只使用一个 harness 且关闭 thinking,优先使用对应的专用适配器;super-adapter 更适合需要一份模型覆盖多个运行环境的场景。

5. 结果到底提升了多少

在 SWE-bench Pro 的 51 道困难任务上,Pi 适配器从 39.2% 提升到 64.7%,Hermes Agent 从 29.4% 到 43.1%,OpenCode 从 35.3% 到 51.0%。在 Terminal-Bench 2.1 全量任务上,Pi 提升 16.3 个百分点,Hermes Agent 提升 14.1 个百分点。

效率方面,专用适配器在双方都解决的任务上,SWE-bench Pro 的工具调用减少 56%–72%,Terminal-Bench 2.1 减少 53%–70%。super-adapter 在不同设置下也能减少大量工具调用:部分任务减少 53%–73%,输出 token 也有明显下降。

但官方同时给了一个必须保留的限制:在训练分布外的任务上,Pi 和 OpenCode 只是略高于基础模型,合并适配器基本持平,Hermes Agent 反而低于基础模型。也就是说,适配器对目标 harness 和目标任务确实有效,但它不是普遍智能的免费增益。

对 Agent / 工程的影响

第一,模型评测要绑定执行框架

以后报告 Agent 模型成绩时,只写模型名称和 benchmark 已经不够。至少还应记录 harness 版本、工具集合、最大步骤数、thinking 开关、并发设置和验证器版本。同一个基础模型从 Pi 换到 Hermes Agent,结果差异可能来自执行循环,而不是权重本身。

这也改变了 A/B 测试的做法:如果只替换模型,不固定 harness 与工具 schema,实验结果无法归因。正确的最小实验应固定一套任务和执行框架,只比较基础模型、专用适配器和跨框架适配器三组结果。

第二,工具调用次数是很有用的二级指标

过去大家主要看 pass@1,但 Agent 的真实成本还包括工具调用次数、生成 token、失败重试次数和总延迟。Harness Adapter 的收益很像“让模型更早做出正确动作”:少绕路、少重复查看文件、少调用无关工具。

不过工具调用减少必须与正确性一起看。13 次调用如果意味着提前放弃,就不是效率优化;正确的目标是“在保持任务成功率的前提下减少调用”。工程指标应至少包括:成功率、平均与 P95 工具调用数、输出 token、总时延和验证器拒绝率。

第三,强化学习的核心资产是验证器

如果团队想复用这条路线,第一步不是租 GPU,而是整理自己的任务和验收标准。对代码 Agent 来说,单元测试、静态检查、构建结果和行为测试可以组成验证器;对文档或数据任务,则需要结构化 Schema、事实检查和人工抽样。

验证器还要做“反例测试”:故意给一个表面完成、实际错误的结果,确认验证器会拒绝。否则模型会找到奖励漏洞,学会提交最容易骗过检查的答案,而不是完成真实任务。

第四,专用化要设置维护边界

只要 harness 的系统提示、工具描述或错误格式变化,适配器就可能需要回归。团队不应把它当成永久模型版本,而应该像维护一个带依赖约束的构建产物:记录基础模型、harness 版本、任务集版本、训练超参和评测结果。

如果业务同时运行多种 Agent 框架,super-adapter 可以降低发布和存储复杂度;如果业务只依赖一个框架,专用适配器通常更值得优先测试。不要为了“一个模型到处跑”牺牲掉专用适配器已经验证过的收益。

我的判断

第一,Harness Adapter 是 Agent 优化从提示词工程走向系统工程的信号。决定结果的不只是模型参数,还有它如何看工具、如何处理失败以及何时结束。

第二,真正值得复制的是“真实 harness + 可信任务 + 可审计验证器”的训练闭环,不是某个 55% 的分数。没有闭环,换一个任务分布就会失效。

第三,中型团队不必马上训练大规模适配器。先用固定任务集统计工具调用和失败类型,再判断问题来自模型能力、工具设计还是执行循环;只有确认瓶颈稳定存在,LoRA 强化学习才值得投入。

Q&A

Q1:来源和发布日期是什么?
A:主源是 Hugging Face 官方博客《Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost》,发布日期为 2026-11-20,原始 URL 是 https://huggingface.co/blog/harness-adapters-at-scale。官方文章版本见 https://github.com/huggingface/blog/blob/main/harness-adapters-at-scale.md,模型和适配器集合见 https://huggingface.co/collections/harness-hub/qwen38-27b-harness-adapters。

Q2:Harness Adapter 和普通 LoRA 有什么不同?
A:参数形式仍然是 LoRA,但训练目标不同。普通 LoRA 常围绕静态数据或通用任务训练;Harness Adapter 把完整 Agent 框架放进 rollout,让模型在真实工具协议、提示模板和验证器下学习。因此它优化的是“模型与执行环境的组合”,不是只优化文本输出。

Q3:能不能复现?
A:可以按官方公开配方做最小复现:固定一个基础模型和一个 harness,准备带可信测试的任务,使用 OpenEnv 与 Harbor 打包,在训练前运行 openenv validate,再用 TRL 的 AsyncGRPOTrainer 训练 LoRA。评测时必须固定 harness 版本、工具集合、thinking 设置和任务划分,不能只比较一张最终分数表。

Q4:为什么不同 Agent 框架要分别训练?
A:因为框架改变了模型看到的上下文和行动反馈。工具描述顺序、错误信息、重试策略、终止条件和默认提示都可能影响模型的行为轨迹。专用适配器可以学习这些稳定模式;但如果框架差异很小,先改进工具 schema 和提示模板,可能比训练适配器更划算。

Q5:super-adapter 是否比专用适配器更好?
A:不是绝对更好。super-adapter 的优势是一个产物覆盖多个 harness,跨环境更方便;专用适配器通常在自己的 harness 上峰值更高。官方结果显示合并权重需要折中,直接相加会让部分框架过度提前结束。选择时要看部署规模、维护成本和单框架的性能要求。

Q6:最容易踩的坑是什么?
A:一是验证器接受了错误结果,模型学会钻奖励漏洞;二是只看 pass@1,不看工具调用和 token 成本;三是升级 harness 后仍沿用旧适配器;四是把训练分布内提升误认为通用能力。上线前至少做一次跨任务、跨版本和失败样本回归。


字数自检:正文超过 1500 个中文字符。
隐私自检:未包含内部网络地址、真实机器标识、认证凭据或用户相关信息。
来源自检:已列出官方来源、发布日期和原始 URL。
封面 seed:包含日期与主题 slug,未与历史文章复用。
categories:ai_tech。

本文阅读量 --
Author:Margrop
Link:https://blog.margrop.com/post/2026-11-20-harness-adapters-agent-rl/
版权声明:本文采用 CC BY-NC-SA 3.0 CN 协议进行许可