ToyBlocks 拆解：为什么要用积木桌做机器人基准，真机成功率只有 50% 说明了什么？

笔名：小六 / 上海 / 1995 女 / 某互联网公司工程师

先说结论

今天（2026 年 11 月 6 日），Ai2 在 Hugging Face 官方博客发布 ToyBlocks——一个围绕机械臂和积木桌构建的受控仿真基准，并同时提出更大的概念框架 FoundationWorlds。首批数据相当可观：85,336 条长程演示、接近 1,600 小时机器人执行数据、1.44 亿帧画面，单张 GPU 上的数据生成速度最高可达实时的 24 倍。但它真正的价值不在数字，而在一组不那么体面的负结果：几个流行的动作模型即使有大规模预训练，空间泛化依然很差；完全在仿真里训练的模型零样本上真机，单个技能成功率仿真 80.0%、真机 81.1% 几乎一致，但换成多步长程任务就掉到 55.5% 和 50.0%。

我的结论：机器人领域缺的不是更大的数据集，而是能复现、能归因的”培养皿”。ToyBlocks 是一次把评测纪律搬进具身智能的尝试，而它自己公布的真机数字恰好说明——单步会做不等于会连贯地做。给机器人做 Agent 系统的人，应该先看它的归因设计，再看它的绝对分数。

发生了什么

官方事实一：发布主体、时间与定位。 主来源是 Ai2 发布在 Hugging Face 官方博客的《ToyBlocks: A controlled world for robot learning and evaluation》，页面标注发布日期 2026 年 11 月 6 日，作者署名 Kyle Wiggers，原始 URL 见文末 Q&A。文章不是单纯的产品发布，而是把一个历时项目的方法论完整摊开：为什么要把机器人学习塞进一个”故意简单”的世界。

官方事实二：FoundationWorlds 是更大的框架。 Ai2 提出的核心并不是 ToyBlocks 本身，而是 FoundationWorlds——每一个 FoundationWorld 由三部分组成：一个受控仿真世界、一套能自动生成任务与演示的工具、一组衡量机器人行为随时间变化的指标。官方给的类比是科学家研究复杂系统时先建小环境：培养皿、玻璃箱。ToyBlocks 是第一个 FoundationWorld，后续会扩展到更复杂的环境。

官方事实三：四个准入条件。 Ai2 明确说开放式领域不可能同时满足四点，所以选择收敛范围。这四点分别是：真实的物理与外观、可规模化的任务与演示自动生成、把推理和精细操作捆在一起的挑战、以及在领域内有足够广的覆盖。积木桌这个设定”刻意简单”，但它同时满足了这四条——这是整篇文章最值得记的设计逻辑。

官方事实四：配套资源全部开放。 仿真资产、程序化任务与演示生成器、自动生成的演示数据、两个训练好的模型（一个基于 Molmo 2，一个基于 ManiFlow）、训练代码、评测代码与验证集全部放出。Hugging Face 上是 allenai/Molmo2-4B-tb 和 allenai/maniflow-tb 两个模型、allenai/toyblocks-data 数据集。

技术细节

1. 数据管线：规划器 + 技能库，把遥操作替掉

ToyBlocks 的演示数据不是人戴手套一帧一帧遥控出来的，而是自动合成的。链路是这样的：先用强化学习与运动规划生成短时技能（pick、place、flip、rotate，以及一个混合任务），技能训练放在 Isaac Lab 里做；生成数据时，一个任务与运动规划器自动挑选并排序完成任务所需的技能序列，再规划技能之间的移动，最后在仿真里逐一执行这些计划，得到带标签的演示数据。

关键工程细节是允许技能生成使用”特权信息”——积木的精确位置与朝向这类仿真器直接能给、但真实机器人只能靠相机估计的量。正因为绕开了感知，那些在真机上非要人遥操作才能录到的技能，在仿真里可以批量生产。生成端能在一张 GPU 上并行跑几百个计划，最高做到实时的 24 倍。

首批发出来的数据是 85,336 条长程演示，每条包含约 6 到 12 个技能演示，合计接近 1,600 小时机器人执行数据和 1.44 亿帧。同时官方也明说数据设计的重点之一是可调配：想多练推，就多生成推；想补个别技能的数据缺口，就在混合比例上调。这比”再攒十万小时”式的数据集思路要务实得多。

2. 基准的三条主线：泛化、长程、世界模型

ToyBlocks 不是只出分数，它出的是三组实验设置。

第一条是 VLA 的空间泛化。 论文把泛化切成内插与外推两类：训练时物体只出现在工作区左半边，测试换到右半边；训练时只给 2 块和 5 块的堆叠高度，测试考 3 块和 4 块。参与对照的是 ManiFlow、π0.5、MolmoAct 2 这几个主流动作模型。结论很直白：尽管有大规模预训练，这些模型在初始结果里泛化都很差。官方随后叠加了低秩适配等微调技术去提升，但仍然明确写”动作模型的泛化远未解决”。

第二条是长程任务的分层评测。 三个积木拼出”Ai2”这类任务，难点在于字母面可能一开始背对着相机——机器人必须先主动选择能看见信息的动作，再规划执行序列。ToyBlocks 用 Molmo 2 当高层规划器、ManiFlow 当低层策略，并在两侧都提供 oracle，用来判断失败到底出在规划层还是执行层。这个设计是整个基准里最实用的部分：它让”谁错了”变成一个可以回答的问题，而不是笼统地说”模型不行”。

第三条是动作条件世界模型当仿真器。 这是很多团队关心但缺落点的方向。ToyBlocks 因为有仿真的真实状态，可以直接对世界模型做受控检验：每个技能生成 900 条轨迹，成功与失败各占一半——意味着”无脑预测成功”的基线准确率正好是 50%，任何模型的数字都要和这个基线比。三种被测模型里，5B 参数的视频预测模型 Wan 2.2 对积木运动和任务结果预测最准；Astra 能跟住夹爪但模拟接触很差；LeWM 快、在短交互片段里更准，但整条轨迹上会漂。

还有一个对数据工程很有启发的结果：世界模型的预测质量能当数据质量的代理指标。用预测最好的视频生成模型合成 100 条轨迹加进训练，策略在训练没见过的区域的成功率从 19% 涨到 78%。这条把”合成数据要不要用、用哪个模型造”从玄学变成了可测量的问题。

3. 回落到 Agent：前沿模型的真实误差类型

ToyBlocks 还跑了一组很多 Agent 团队会直接关心的实验：把积木技能通过 Model Context Protocol 暴露成工具，让前沿模型（实验中用的是 Claude Opus 5.5）看图、点像素选积木、调技能，自己决定什么时候搜索、什么时候搭、什么时候宣布任务不可能完成。

结果分成三个档次，很值得细看：

• 经典规划不难。 用文字描述动作、做 30 个积木堆叠任务，全部 30 个做对；闭眼里看相机图像逐次选下一步动作，也是 30 对 30。
• 感知细节很难。 在”搜字母再拼词”的设置里（最多 8 块积木，五成场景本身缺字母、应当回答不可行），模型能成功完成或正确判定不可行的比例是 63%。错误集中在两类：把相似形状的字母认错占 13%，在堆叠里把字母的朝向摆错占 15%。
• 会做实验的 Agent 明显更强。 让 Agent 自己设计小实验、验证关于技能行为的假设、再把自己学到的写成技能描述，成功率从默认描述的 24% 提到 63%，**还超过了人类专家手写描述的 36%**。

这组数字的含义和很多人对”具身 Agent 卡在规划”的直觉相反：规划的瓶颈不明显，卡住的是把像素和物理细节落到具体抓取与摆放上，以及把一次性的经验沉淀成可复用的技能说明。

4. 最难看的数字：真机零样本

文章最后是快照到现实。整套模型完全在 ToyBlocks 仿真数据上训练，不做任何真机数据，零样本部署到一台 Franka FR3 加 Robotiq 夹爪上，跨 30 种场景配置、每场景 4 到 10 块训练时见过的积木。

结果分两层，第一层令人惊喜：ManiFlow 的单技能成功率仿真 80.0%、真机 81.1%，几乎完全一致——这说明仿真里的物理和外观确实做对了，sim-to-real 的落差在单步操作上已经不构成门槛。

第二层就很现实：换成 Molmo 2 + ManiFlow 的分层系统做三块积木拼词，仿真成功率 55.5%（111/200），真机 50.0%（15/30）。官方自己注明，真机这组样本量还不足以建立统计置信度。但形态很清楚：单步能力的转移率高，长程组合的转移率低。误差不在”抓不住”，而在”一步一步连起来的时候掉了链子”。

让这个结果可信的是迁移前三步工程：生成数据前做系统辨识，把关节摩擦、电机与减速器折算到关节上的惯量调到与真机轨迹一致；生成数据时对尺寸、摩擦、桌面高度、光照、背景、材质、相机参数做随机化；推理时用正面相机加腕部相机，需要深度的策略不用噪声大的深度传感器，而是从 RGB 图用立体匹配算法算出干净深度图。

对 Agent / 工程的影响

第一，评测设计的价值正在超过分数本身。 ToyBlocks 提供的三层 oracle（高层规划、低层执行、以及仿真的真实状态）让失败可以被切分归因。做 Agent 系统的团队可以直接借鉴这个模式：给每个失败案例准备”如果规划对、执行会怎样”和”如果执行对、规划会怎样”两条参照线，把错误归到具体层。绝大多数 Agent 线上的排障痛苦，都来自没有这两条参照线。

第二，世界模型能不能当训练环境，取决于预测准不准，而这件事可以量化。 900 条轨迹、50/50 成功失败、基线 50%——这套设计用最朴素的方式堵住了”模型看起来会预测”的幻觉。官方给的经验规律更值得抄：预测质量高的模型生成的轨迹，作为训练数据带来的增益大得多（19% 到 78%）。如果你们在用视频生成模型造机器人或 Agent 训练数据，先做这个预测准确性对照，再决定用谁。

第三，Agent 的自我实验能力是被低估的增益点。 从 24% 到 63%、超过人类专家写的 36%，这组数字说明技能说明文档的写法本身就是可优化项，而且模型能通过做实验自己写出来。对工具型 Agent 的直接启发是：与其给模型维护一份人工写的工具说明，不如让它跑几个受控小实验、自己写成说明。前提仍然是有可重复、可观测的环境——这又回到 ToyBlocks 的存在理由。

第四，仿真里训不出的东西，别指望在仿真里补齐。 单技能转移良好、长程组合掉一半，说明当前世界模型与仿真器对”误差如何累积”的建模仍然薄弱。给机器人做 Agent 编排时，长程任务的可靠性设计（重试、状态校验、失败检测）不能因为仿真分数好看就省掉。

我的判断

三个判断。第一，ToyBlocks 值得作为基准跑，但更适合作为归因工具而不是排行榜——它的真正产出是”失败发生在哪一层”的结构，而不是某个百分数。第二，具身智能的下一波进展会来自长程组合的学习与验证，而不是单技能精度；50% 这个数字应当被当作当前版图，而不是某个模型的污点。第三，如果你是做 Agent 而不是做机器人的，今天最该拿走的两件事是三层 oracle 归因法和”预测质量即数据质量”的验证纪律，这两条和硬件无关，明天就能用。

Q&A

Q1：来源和出处？

A：Ai2《ToyBlocks: A controlled world for robot learning and evaluation》，Hugging Face 官方博客 allenai 账号，发布于 2026 年 11 月 6 日，URL 为 huggingface.co/blog/allenai/toyblocks。配套资源：模型 allenai/Molmo2-4B-tb 与 allenai/maniflow-tb，数据集 allenai/toyblocks-data（1.44 亿帧），训练与评测代码、仿真资产均在原文顶部链接放出。本文所有数字（85,336 条演示、1,600 小时、1.44 亿帧、24 倍实时、900 条轨迹、19% 到 78%、24% / 63% / 36%、13% / 15%、80.0% / 81.1%、55.5% / 50.0%、15/30、111/200）均出自该官方原文，未使用二手转述。

Q2：能不能自己复现？

A：模型、数据、生成器、评测代码都开放，复现门槛取决于算力而非权限。最小路径是拉 allenai/toyblocks-data 的一个子集和一个训练好的模型，先跑评测复现官方给出的仿真成功率，再改动训练混合比例（比如少给翻转技能）看指标是否符合官方的数据设计逻辑。要做真机对照，则需要 Franka FR3 这类平台，成本高得多。

Q3：适用边界？

A：ToyBlocks 自己承认范围故意收窄。它测不出开放环境里的物体多样性、柔性物体、双手机械手（官方列为后续方向）、以及需要力与触觉的任务。另外真机实验 EMA 只有 30 个场景、15/30 的成功计数，官方明确说置信度不足。把它当能力探针可以，当成真实产线成绩单不行。

Q4：和现有机器人基准比，差别在哪？

A：主流仿真基准大多只给分数。ToyBlocks 的差异是三条：数据可程序化重配并按训练混合比例做因果实验、分层 oracle 让失败可归因、以及因为仿真提供真实状态所以能耐世界模型做受控检验。它不追求覆盖更多任务，追求的是”改一个变量后能说清结果为什么变”。

Q5：最容易踩的坑？

A：别只看成功率。官方给的两个对照组比主结果更有信息量——“无脑预测成功”的 50% 基线，和单技能 80% 对长程 55.5% 的落差。另外，仿真数据生成依赖渲染与物理参数随机化，如果只随机化了外观、没做系统辨识去对齐关节摩擦与惯量，sim-to-real 的漂亮数字就不可迁移。