Drogon · ROS 2 · 独立开发笔记

ENGINEERING NOTES/工程笔记

世界模型的三种梦:生成、策略、账本

11 月 16 日,AMD 用约 82 亿美元(全股票)把 World Labs 收了,李飞飞出任执行副总裁兼首席科学家,直报苏姿丰。官方的说法不是「买一个产品」,而是「用模型团队的洞察反过来定义硬件路线图」——买的是负载定义权。

同一天晚上我在收尾一份渲染施工单,正好要回答一个很近的问题:生成式世界模型的产出,能不能进我们的渲染内核?答案是不能直接进,只能以冻结资产的形式进。这篇是那条结论的来路:先把三个都叫「世界模型」的东西拆开,再说我们为什么只收它的资产,不收它的想象。

一、同名三义

「世界模型」这个词在过去三年里漂移了三次,每一次都换了一个内核:

World Labs / Atlas · MarbleDreamer v3我们的梦境轨道
要做的事生成可观看、可编辑的世界在想象里优化动作输出可判分的建议与校准
推演的介质像素与显式 3D隐向量 (h, s)显式事件 + 台账
监督信号自监督重建 + 条件生成,无奖励奖励驱动,梯度更新无梯度,纯函数回放
产物场景、视频、可导出资产策略参数三类梦产物,全部过三门
怎么验收主观 + 像素指标回报曲线,分布外会崩逐字节可复算
三种「世界模型」:介质决定可审计性,唯一握手点是资产闸 Atlas / Marble · 生成 介质:像素 + 显式 3D 产物:场景 / 可导出资产 验收:主观 + 像素指标 Dreamer v3 · 策略 介质:隐向量 (h, s) 产物:策略参数 验收:回报曲线 本框架 · 账本 介质:事件 + 台账 产物:可判分建议 / 校准 验收:逐字节可复算 资产闸(唯一入口) sha 导入器 · gltf_import / add_texture / parse_ply 资产树 · 冻结进仓 渲染内核

✕ 不进决策环:孪生 DES / 账本 / 预测头一律不收生成物

三者共享同一个内核:都相信「世界模型 = 能在脑内推演『如果我这样,会怎样』」。分歧全在介质上。介质决定可审计性:越靠近像素,越像品味;越靠近账本,越像证据。

二、Atlas 造外观,Dreamer 造动作

Marble 是第一个商用的多模态世界模型:文本、图片、视频、360 全景、粗糙的 3D 布局都能进,出来的是可漫游、可编辑、可导出的持久 3D 世界。9 月 1 日发布的 Atlas 是它的换代:从零预训练的多模态自回归扩散 transformer,把文本、图像、视频、3D 全部映射进一个共享的空间上下文,然后预测接下来是什么——始终与已见内容保持 3D 一致,并且愿意想象镜头之外的部分。它同时能做三件事:像素级相机可控的生成(1440p,最长一分钟)、从一到几十张图做空间重建、从视频做时空仿真,接 real-to-sim 给机器人用。

所以 Atlas 的产物是世界的外观:可看、可走、可导出。它的失败模式也很清楚——幻觉,以及不同视角之间的不一致。这两件事没有客观裁判,只能靠人眼和像素指标。

Dreamer 是另一半:RSSM 把观测压进隐状态,学一个动力学模型,然后在 latent 里做 rollout,用想象出来的回报训练策略。它也从像素学,但它不生产像素,它生产动作。它的成功有硬指标(Minecraft 里挖到钻石),失败也有硬形态(换一个分布就崩,而且崩在哪一层说不清)。

一句话:Atlas 生成世界长什么样,Dreamer 学习在世界里怎么做,我们记录世界刚刚做了什么、以及如果改成那样会发生什么。

三、我们的梦为什么只能是符号的

我们的梦境轨道只做两件事:把历史事件流灌进孪生离散事件仿真、显式改动几个决策变量后重放,回答「当时如果……」;以及让预测头对「未来 t+Δ」输出可判分的区间或动作词表,再拿真实台账去判分。全程没有梯度,没有潜空间,没有训练管线,同一份台账跑两遍必须逐字节相同。

这不是技术保守,是产物去向决定的。梦里的结论会以 Source::Dream 的身份进入认知时间线,并且可以作为策略、建议、阈值升级到正式建议——它是要被人拿去执行的。执行链上的东西必须能复盘:这条结论是梦里的还是真发生的、改过哪几个变量、基于哪一段历史。黑盒隐向量回答不了这三个问题,生成式世界模型也回答不了,它们连「这一次和上一次不一样」都未必能说清。

代价是表达力:我们的梦画不出一个逼真的车间,也学不会人没写进规则的动作。换来的是审得动。

四、一条准入条款

所以那条结论落成了四条:

  1. 只能离线冻结。生成式世界模型的产出以三种冻结形态落盘进仓:网格(GLB 子集)、贴图(RGBA8 像素)、splat(PLY 子集,只取 DC 基色)。splat 不烘成 mesh——半透明与视角相关外观烘不出来,这条降级方案是明确否掉的。导入记录里带生成工具、提示词、模型版本;运行时不允许调用任何生成服务。
  2. 必须带 sha。资产文件与导入结果各钉一条 sha(仓内资产登记在 docs/ASSETS.md,导入结果进 golden 台账);重新生成算新资产,不算修订,旧 sha 永不复用。渲染结果不承诺跨端逐字节一致——半透明合成与纹理采样跨设备必有末位差异,splat 与贴图路径只做结构断言(覆盖率、色相分布、亮度均值);同机重渲染必须逐位一致。
  3. 只走导入器。只经仓内三个 entry——glTF 导入、纹理注册、splat 的 PLY 解析;三者都是手写子集 + fail-closed + 超集告警,内核不知道资产出处。仍不为任何厂商格式开专用路径:PLY 是 3DGS 社区的事实标准(自描述头部),不是某家公司的私有格式。
  4. 不进决策环。生成资产只影响观感,不参与孪生仿真、账本与预测头;梦与现实的边界,不因为外观的来源而移动。

四条合起来是一句话:不可复算的生成物只能挂在资产树上,不能进运行时,更不能进决策环。

五、为什么这条线值得守

AMD 这笔交易真正说明的事,是物理 AI 的推理与仿真正在变成一等负载,于是做模型的人开始定义芯片。这个趋势对我们不是威胁,是定位的确认:我们不训练世界模型,我们在设备端执行确定性的世界——自绘渲染、事件账本、可复算的孪生。世界模型的执行端,恰恰是它最不能幻觉的地方。

所以边界要提前划。等生成式资产真的便宜到随手可得,一定会有人想「直接在线生成一个车间给大屏看」,那一刻如果没有 sha 和导入器这两道闸,内核里就会混进一批下次生成就变样的东西。到那时再补规矩,代价是全量 golden 重锚。

三句话收尾:

  • 他们造世界的生成器,我们造世界的账本与执行器。
  • 生成器靠品味与算力取胜,账本靠纪律与证据取胜。
  • 两条路不会合并,但会在「资产」这一层握手——握手的地方必须有 sha。
← 返回首页全部文章