Cosmos 3 Nano 四个开源检查点：世界模型怎么变成 Agent 可复现的训练场？

笔名：小六 / 上海 / 1995 女 / 某互联网公司工程师

先说结论

11 月 5 日，NVIDIA 在 Hugging Face 官方博客发布了 Cosmos 3 Nano 家族的四个新检查点：Transfer-Auto、Sim-Auto、Sim-Transfer、Sim-Bimanual。四个都是开放权重，每个 16B 可训练参数，许可证是 OpenMDW1.1，明确允许商用与非商用。

我的结论：这四条发布真正值得抄的不是”又一个视频生成模型”，而是两件事——第一，它把”动作到观察”的映射做成了带 validity mask 的结构化控制契约，这是 Agent 能直接对接的接口形态；第二，它把后训练的四阶段配方写成了 Agent 可执行的 skill 文件（SKILL.md），模型适配这道工序第一次被包装成”给编码 Agent 一个 skill 加一个数据集路径”的形态。至于”开源即能复现”，我持保留态度：16B 模型、四阶段训练、单张 GB200 级别的推理配置，个人和小团队的复现成本并不低。

发生了什么

官方事实一：发布主体、时间与位置。 主来源是 Hugging Face 博客的 NVIDIA 投稿栏目《New NVIDIA Cosmos 3 Open Models for Interactive World Simulation》，页面结构化数据里的发布日期是 2026 年 11 月 5 日 19:35（UTC），折合北京时间 11 月 6 日凌晨。原始 URL 见文末来源列表。

官方事实二：四个检查点各管一段。 官方给出的分工很直白：

• Transfer-Auto：离线合成驾驶数据。最多 11 路相机视角（含鱼眼），支持 RGB 与 LiDAR 联合生成；逐相机的 World Scenario Map 控制指定场景结构与交通运动，文本提示控制外观，可选用初始 RGB 图锚定场景外观。
• Sim-Auto：Transfer-Auto 的因果蒸馏流式版本。用几步去噪就吐出一小块同步的相机视频与 LiDAR，靠生成历史和更新后的驾驶控制支撑长时间交互式 rollout。
• Sim-Transfer：仿真器控制到 RGB。物理仿真器算运动、接触和物理状态，模型把空间控制加文本提示渲染成策略可消费的彩色观察。
• Sim-Bimanual：双臂机器人动作到视频。支持 YAM 与 AgiBot 两个本体，由策略或人手摇杆控制；给一张起始图，移动机器人或相机，生成下一批观察。

官方事实三：模型卡上的硬数字与一处不一致。 模型卡写”可训练参数 16B”，而仓库文件信息里 safetensors 显示”15B params、BF16”。这不是矛盾，通常意味着 16B 是含某些额外结构的可训练总量口径，15B 是导出推理权重里实际落盘的参数量——但官方没有解释这个差额，属于读者要自己留意的细节。模型卡还写了 Hugging Face 与 GitHub 的仓库发布日期是 10 月 20 日，也就是说权重早就挂上去了，11 月 5 日的博客是正式介绍与配方公开。

辅助事件（同日，不同路径）。 同在 11 月 5 日，Google 在官方博客发布 Gemini Omni 1.2 Flash：原生 15 秒视频（上一代 10 秒），可按 1 秒粒度指定 3 到 15 秒；支持多轮对话式编辑；参考图、短视频片段（最多 3 秒）与音频线索的遵循度提升；价格从 1.1 降 30%，720p 为每秒 0.07 美元。同一天两家都在推”更长片段、更可控、更便宜”，但路径相反：Google 走 API 产品化，NVIDIA 走开放权重加可后训练。

技术细节

1. 流式生成：latent 时间步与 KV cache

Cosmos 3 的骨干是 Mixture-of-Transformers：文本处理网络与视觉生成网络各自独立，通过 attention 相连。生成器按”提示 + 可用控制 + 已生成历史”预测每个短片段。流程是：控制与历史 → 生成一个 chunk → 解码图像 → 更新历史。

模型在压缩视频表示（latent）上工作。给定初始图之后，每个 latent 时间步代表 4 帧 RGB。Transfer 每个 chunk 预测一步，技术报告里优化的 Bimanual 配置预测两步。去噪把带噪的压缩表示精炼成一个片段；时序因果 attention 允许读历史与控制，同时屏蔽未来的目标观察；KV cache 保留 attention 信息供下一次预测复用。chunk 越小，新控制能影响生成的频次越高——这是”交互式”的关键：控制不是一次性输入，而是每小块都能改写。

2. 四阶段训练配方：为什么最后一段是 self-forcing

官方给的配方分四段：

• Stage 0 双向适配：从完整录制的片段里学这个域，以及”控制到视频”的关系。
• Stage 1 teacher forcing：用更早的录制观察加可用控制预测每个 chunk，把干净答案与未来目标都 mask 掉。
• Stage 2 一致性蒸馏：用冻结的 teacher 训一个 student，让 student 四步去噪就产出每个 chunk。
• Stage 3 self-forcing：用 student 自己生成的历史来训练；冻结 teacher 加一个辅助打分模型提供分布匹配信号。

官方对第三阶段的解释是整篇里最有工程价值的一句：一个稍微预测错的物体，会成为后续帧的上下文，所以误差会复利（compounding）。self-forcing 就是把训练暴露在这种”自己造的脏历史”上，让模型学会在自己出错之后继续走对。

3. 控制接口：WSM、动作 schema 与 validity mask

• 相机侧：World Scenario Map 是逐相机同步的渲染视频，含车道线与物体包围盒；LiDAR 侧用与相机控制对齐的 HD 地图 range map。支持 1 到 11 路视角（Hyperion 8.1 相机套件）。这意味着”场景结构”与”外观”被拆成两个可控通道：结构由仿真渲染给出，外观由文本提示与可选初始图给出。
• 机器人侧：Sim-Bimanual 的动作 schema 定义了坐标帧、旋转、夹爪标定、validity mask 与控制域。混合动作示例用了 59 个控制值，训练时 padding 到 64。官方强调时序对齐：T 个转移需要 T+1 个观察；训练把原始采集转成模型的动作表示，发布的推理动作已经归一化。

validity mask 这个设计值得单独说：它不是”每个控制位都有值”，而是显式声明哪些位在这一帧有效。机器人数据里最脏的部分恰恰是”某个关节这一帧没采到”，如果没有 mask，模型会把缺失当成零值信号去学。

4. 部署门槛：GB200 与容器栈

官方写的要求是 Linux、NVIDIA GPU、Docker 与 NVIDIA Container Toolkit；发布的 vLLM-Omni 配置是在一张 GB200 上测过的，官方特意注明”这不是最低显存规格”。另外服务端要下载权重，客户端要拉取样例输入——也就是说本地复现不是”pip 装一下”的量级。

5. 后训练配方被写成 Agent skill

这是我认为最有意思的一处。cosmos-framework 仓库里，四个检查点的后训练都放在 .agents/skills/ 目录下，形态是 SKILL.md：数据准备、阶段配置、checkpoint 交接、导出、断点续训都写在里面。博客里反复出现一句”Point your agent to the open skill”，以及”给编码 Agent 这个 skill 和数据集位置，让它按环境检查、验证一个样本、在长跑之前先测训练与重启”。官方还补了一句判断标准：短跑成功只验证执行，不验证收敛，质量要在 held-out episodes 上评。

对 Agent / 工程的影响

能立刻借鉴的三点：

• 动作契约的形状。Agent 要在物理世界里行动，最难的是”动作怎么表达”。Cosmos 3 给的是：坐标帧 + 旋转 + 夹爪标定 + validity mask + 控制域 + 明确的时序对齐规则。这套东西可以直接搬进 Agent 的工具 schema——把”哪个字段这一帧有效”显式化，比事后用启发式补默认值可靠得多。
• 误差复利与长程任务同构。self-forcing 的动机是”自己生成的脏历史会变成后续上下文”。多步工具调用的 Agent 完全一样：第三步的错误输出会成为第四步的输入。这条配方给出的是一个可抄的训练策略：别只用干净轨迹训，要用模型自己跑出来的轨迹训，并且给一个外部打分器做分布匹配。
• 环境即服务。Sim-Transfer 与 Sim-Bimanual 把”动作 → 观察”变成可调用的生成函数，而不是等真机跑一遍。对 Agent 评测的意义是：可以在生成环境里做大量 rollout，再用少量真机验证。但要小心，官方自己也承认”哪些地方忠实支撑策略学习与评测”仍是要测的问题——生成环境不能默认等于真环境。

需要警惕的两点：

• 开源权重 ≠ 可负担复现。16B 参数、四阶段训练、GB200 级推理配置，这三条叠起来，小团队想从头复现一遍成本不低。真正能低成本用的是”拿来当预训练起点做后训练”，而那仍然要自己的传感器数据。
• 博客没有定量指标。这篇发布给的是能力描述、结构图与 demo，没给成功率、一致性分数、LiDAR 误差这类数字；技术报告里才有。凭 demo 视频判断”生成环境够真”是很容易踩的坑。

我的判断

第一，这条发布的定位是”基础设施”，不是”产品”。 它不跟 Gemini Omni 抢同一个位置：Google 在卖”每秒 0.07 美元的 15 秒片段”，NVIDIA 在卖”一个能被你后训练成自己传感器配置的世界模型底座”。同一天发布但根本不构成竞争，反而是分工——一个负责生成内容，一个负责生成环境。

第二，最值得抄的是工程形态，不是模型。 后训练配方写成 SKILL.md、动作 schema 带 validity mask、四阶段里专门为”自造脏历史”设一段，这三样都是可以脱离 Cosmos 单独搬走的经验。尤其”配方即技能”这个形态，我判断它会扩散：以后模型适配、数据清洗、评测复跑这类工序，都会以 Agent 可执行的 skill 形式交付，而不是一篇 PDF 教程。

第三，开放程度要分层看。 权重开放、许可允许商用（OpenMDW1.1）、配方与 skill 公开——这是相当实在的开放。但训练数据是否完整披露、四阶段的具体超参与算力账单，得看 49MB 那份技术报告。把”开放权重”直接等同于”开放全链路”，是这类发布最常见的误读。

第四，对 Agent 团队的实际建议。 如果你的系统需要”大量 rollout 的交互环境”，Cosmos 3 的 Sim-* 是目前少见的、带结构化控制契约的开源选项；但如果你的需求只是”生成一段视频素材”，Gemini Omni 1.2 Flash 的 API 更省事。两者不是替代关系，是两种成本结构。

Q&A

Q1：这四个模型是同一份权重吗？
不是。四个都是 Cosmos 3 Nano 的后训练示例，共享同一个基座家族，但各自训成不同用途：Transfer-Auto 做离线多传感器数据生成，Sim-Auto 是它的因果蒸馏流式版，Sim-Transfer 把仿真器控制渲染成 RGB，Sim-Bimanual 把双臂动作变成视频。官方把它们放在 Cosmos3-Examples 集合里，定位是”域特化的后训练示例”。

Q2：16B 和 15B 到底哪个是真的？
模型卡写可训练参数 16B，仓库文件信息写 15B、BF16。合理推断是”可训练总量”与”导出推理权重”两个口径的差，官方没有明说。要精确回答得看技术报告里的参数表。

Q3：许可证能商用吗？
模型卡写的是 OpenMDW1.1，并注明”可商用或非商用”。但许可条款的具体边界（比如再分发、署名要求）要看许可证原文，不要只看模型卡那一句概述。

Q4：这套东西和我做 Agent 有什么关系？
两层关系。浅层：需要一个可交互的仿真环境做 rollout，Sim-* 是候选。深层：它的动作 schema（坐标帧、旋转、夹爪标定、validity mask、控制域、时序对齐）和 self-forcing 训练策略，是可以直接搬进 Agent 工具设计与轨迹训练的工程经验。

Q5：Gemini Omni 1.2 Flash 为什么放进来？
因为它和主事件同日发布，能提供一个对照：同一天、同一个”更长更便宜更可控”的方向，但一个是 API 产品（每秒 0.07 美元、15 秒、多轮编辑），一个是开源权重加后训练配方。对照比单独看一条更能说明当前的分工格局。

来源

1. NVIDIA 团队，《New NVIDIA Cosmos 3 Open Models for Interactive World Simulation》，Hugging Face 官方博客，发布日期 2026-11-05（UTC 19:35）。原始 URL：https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation
2. NVIDIA 模型卡，《nvidia/Cosmos3-Nano-Sim-Auto》，Hugging Face，仓库发布日期 2026-10-20，许可证 OpenMDW1.1。原始 URL：https://huggingface.co/nvidia/Cosmos3-Nano-Sim-Auto
3. NVIDIA 模型卡，《nvidia/Cosmos3-Nano-Transfer-Auto》，Hugging Face，仓库发布日期 2026-10-20。原始 URL：https://huggingface.co/nvidia/Cosmos3-Nano-Transfer-Auto
4. Anish Nangia（Google DeepMind 产品经理），《Gemini Omni 1.2 Flash: Fast and cost-effective with longer clips》，Google 官方博客，发布日期 2026-11-05。原始 URL：https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemini-omni-1-2-flash/

以上”官方事实”均来自上述一手来源；”我的判断”部分为个人分析，不代表发布方观点。