Novelty Bench：提示词一改准确率就跌破随机，科研 Agent 的裁判还能信吗？
先说结论
让一个模型生成研究点子，再让另一个模型判断有没有创新，这条流水线看上去很完整，问题是裁判本身可能不稳定。Ai2 在 10 月 27 日发布的新研究发现：面对同一批人类与模型生成的想法，只是换了提示词中的几句话，GPT-5.4 的配对判断准确率就从 93.5% 降到 40.9%，相差 52.6 个百分点。
我的结论：科研 Agent 可以用模型裁判做辅助筛选，但不应该让单一提示词下的一次分数决定研究方向的生死。 这不是“模型不够强”的简单故事；检索、推理预算、数据分布和评测方式都在影响裁决，而且多花钱并不保证更准确。
发生了什么
官方事实。 Ai2 通过其 Hugging Face 官方账号发布《Can we trust LLMs to judge whether a research idea is novel?》，页面标注发布日期为 2026-10-27，原始 URL 为 https://huggingface.co/blog/allenai/novelty-bench。本文写作日期为 2026-10-28，该发布位于最近 72 小时内；这里说的是这次博客与配套材料发布，不把论文首次提交日期混为一谈。
这次发布介绍研究《Old Ideas, Novel Problems》，同时提供用于测试新颖性裁判的基准、数据、代码，以及可从同行评审材料构造新评测集的自动化管线。论文原始链接为 https://arxiv.org/abs/2610.02022。下文数字均依据发布博客，不声称已经独立复跑论文实验。
研究覆盖六个裁判模型：GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6。它既考察给单个想法打分的方式，也考察两个想法之间的配对比较，并逐项改变提示词、推理预算、文献检索、文本结构和投票次数等设置。
背景也很直接：科研自动化不只有生成假说，还要判断它是不是已经有人做过。把“判断创新性”外包给另一个模型，很容易让系统形式上拥有了审核环节，却没有真正获得可靠的质量保证。以下技术结果属于官方报告；工程建议与取舍是我的判断。
技术细节
1. 标签不是“录用等于创新”
官方没有简单把录用论文当正样本、拒稿论文当负样本，而是从 ICLR 2026 评审意见中提取明确讨论原创性的段落。
高新颖性池包含 154 个人类研究想法，来自所在研究方向评分前 10% 的录用论文，且评审明确肯定创新、没有评审提出异议；较低新颖性池包含 145 个想法，来自评分后 10% 的拒稿论文，且存在原创性疑虑、没有评审明确肯定创新。在额外检查中，标注者对 50 个样本中的 47 个认同提取出的信号极性。
这比“录用即创新”严谨，但仍不是普遍真理：同行评审有误差，样本集中于特定会议，极端样本也不等于真实筛选队列里的灰区。我的理解是，这是一套证据更强的操作性标签，而不是给科学创新下了机器可判定的定义。
2. 人类论文上稳定，不代表生成想法上稳定
Human-Only 设置使用上述人类想法；Human+Generated 设置则把同样的 154 个高新颖性人类想法，与 154 个简单生成器产出的想法配对。
这里有一个必须保留的限制：官方将生成想法视为较低新颖性，这是弱标签，不是逐条确认的结论。生成器只得到研究领域与提出新想法的要求，没有文献搜索、工具、迭代和反馈。专家另行审查了 30 对样本，并且重点选取强裁判判断失误的案例；专家在这 30 对中都偏好人类想法，但这不能外推为所有模型生成想法都没有创新。
GPT-5.4 的 93.5% 与 40.9% 就出现在 Human+Generated 配对任务上。前一个提示告诉模型，评审已确认每对恰有一个想法具有新颖性；后一个提示只是询问哪个想法新颖。前者额外给出了任务先验，因此不能把高分当作无条件能力；但同一对想法在合理的提示变化下大面积翻转，仍然暴露了部署风险。
官方还比较两种模型生成器的产物，改变裁判提示后，六个裁判平均约四分之一到三分之一的判决发生变化。这个观察不需要先认定哪一个生成器更好：相同对象、不同评审配置，答案就不一致，本身已经值得报警。
3. 搜索和长推理不是可靠性的自动保险
官方额外测试了 GPT-5.6 Sol 的高预算 agentic judge：使用 extra-high 推理，并在 arXiv 范围内进行实时迭代搜索。对照设置中的标准检索裁判各得到五篇预检索摘要，均在 Human+Generated 上每个想法运行一次。
结果是该 agentic judge 达到 0.78 macro-F1，而 Claude Opus 4.6 的对应结果为 0.89，前者每次决策成本按当时 API 价格约高十倍。macro-F1 是两类识别表现的综合指标，不能与前面的配对准确率直接相减。
另一个比较中，简单的 Claude Opus 4.6 提示、低推理预算、三次调用多数投票，取得 0.854 macro-F1，整个评测总成本为 2.59 美元；Idea Novelty Checker 为 0.642、30.66 美元，AI Scientist 为 0.772、82.05 美元。后两者同样使用 Claude Opus 4.6，但每次决策只调用一次。
这组结果证明的是特定设置中简单基线更划算，不是“检索永远没用”。模型、检索方式与投票次数并不完全一致，尤其不能把总评测成本误读成单次请求价格。
对 Agent/工程的影响
第一，把裁判配置视为生产版本的一部分。 不能只记录用了哪个模型，还应固定提示模板、检索索引时间、摘要数量、推理预算、随机设置与聚合规则。否则模型没变、提示词润色了一句，整个研发方向排序可能已经改变，而团队还把变化归因于想法质量。
第二，评测输入必须覆盖真实任务分布。 如果系统实际筛选的是模型生成想法，就不能只拿优秀人类论文校准裁判。最小测试集应同时包含人类研究、直接生成结果、经过搜索迭代的结果，以及改写后语义相同的文本。真实 Agent 可能比研究中的简单生成器更强，因此更需要重新校准，而不是照抄论文分数。
第三，把“新颖性”和“值得做”分开。 一个点子可能没那么新，但验证成本低、应用价值高；另一个可能没人做过，却无法检验。工程上可以将输出拆为相关文献证据、与既有工作的差异、可验证假说、资源需求和未知项，再由明确规则组合。不要让一个“创新分”同时替代真实性、价值和可行性判断。
第四，用不一致触发复核，而非盲目堆预算。 可以对同一想法使用多个已校准提示、交换配对顺序、统一文本格式，记录裁决翻转率。高分但对措辞极度敏感的样本，应进入待复核队列，而不是靠再调用一次更贵的模型强行结束争论。多次投票只能降低部分随机性，不能自动消除共同偏见。
第五，成本指标应该是“每个可信决策的成本”。 将检索费、推理费、失败重试和人工复核时间都计入；如果复杂 Agent 每次都给出很长的报告，却无法减少误判或人工核查，它的工程价值可能低于便宜基线。文献检索的目标也应是拿到可核查的已有工作，而不只是让报告引用更多论文。
我的判断
我会保留模型裁判，但把它放在候选排序与证据整理的位置，不给它单独淘汰研究方向的权限。比起立刻升级推理预算，我更愿意先建立生成内容上的回归集、提示敏感性测试与不确定性出口，因为这次结果说明，评测协议可能比模型档位更先决定答案。科研 Agent 下一阶段的竞争力，不只是一天提出多少想法，而是能否清楚说明哪些差异有文献支持、哪些结论仍然未知。
Q&A
Q1：来源、日期和原始链接是什么？
A：主来源是 Ai2 官方账号于 2026-10-27 发布的博客，https://huggingface.co/blog/allenai/novelty-bench；配套论文《Old Ideas, Novel Problems》链接为 https://arxiv.org/abs/2610.02022。本文未额外引入第二条新闻事件，论文与代码入口属于同一研究的配套材料。
Q2：怎样做最小验证？
A：从官方数据与代码入口固定一个版本，先跑简单裁判基线，再只改变一项提示措辞；保存相同样本的配对决策，统计准确率、macro-F1 与裁决翻转率。随后换成目标系统真实生成的想法，单独报告结果；不能只用人类论文上的高分宣称生产可用。
Q3：是不是应该关掉 RAG 和搜索？
A：不是。研究没有证明所有检索都无效，只说明这些实验中的搜索与额外推理没有稳定带来收益。仍要检查召回覆盖、文献时效、证据是否支持判决，再用同任务、同预算的对照来决定是否保留。
Q4：弱标签是否让全部结论失效？
A：不会，但限制准确率的解释范围。Human+Generated 的标签不应被当作逐条验证过的真相；同一对想法在不同配置下判决翻转，则不依赖哪一方才是真正的新颖想法。可靠性与标签正确性要分别评估。
Q5：本文是否复现了官方数字？
A：没有。本文核读了官方发布原文，对实验设置、数字口径和已声明限制做技术解读，没有实际运行其基准。本文提出的工程流程是建议，不是已经测得的效果，也不构成科研新颖性的保证。