英伟达开源Cosmos 3世界模型:机器人的训练场

英伟达于11月5日在Hugging Face开源Cosmos 3模型家族的四个新权重checkpoint,用于生成交互式世界模拟、多传感器多视角驾驶场景和机器人动作预测。四个模型均为Cosmos 3 Nano后训练示例,拥有160亿可训练参数。
outer space
世界模型解决什么问题
机器人和自动驾驶的训练,最大的瓶颈是数据。真实世界里采集一次极端场景的成本极高,而且危险。世界模型的作用,是在虚拟环境中生成逼真的场景,让机器人在模拟中反复练习。这比真车路测便宜几个数量级。
为什么开源
英伟达的商业模式是卖算力,不是卖模型。开源世界模型,会让更多团队需要训练和推理的GPU,最终受益的是英伟达自己。这是典型的生态打法:把工具免费送出去,靠基础设施赚钱。
160亿参数的分量
四个模型都是Nano规模的后训练示例,160亿可训练参数不算大,目的是让开发者能在有限算力上跑起来、做微调。真正的旗舰版本能力更强,但不会轻易开源。
挑战在哪里
世界模型生成的场景再逼真,也和真实世界有差距。模拟中训练出来的策略,迁移到现实时可能出现性能下降。这个sim-to-real的鸿沟,是具身智能最难的课题。开源能加速探索,但不能消除鸿沟。

上一篇 豆包工作接入第三方模型:办公AI开始做模型路由
下一篇 微软PDD Kit:给AI写的代码做形式化证明