Drogon · ROS 2 · 独立开发笔记

ENGINEERING NOTES/工程笔记

让 AI 自己看完(也听完)一部片子:25818 帧、4744 万帧 PCM,和它读不懂的那半句台词

11 月 15 日发《AI 最缺的不是算力,是经历》时,视频第一次成了正文主体:片子置顶,文字在下——读者先看十八分钟,再读一千二百字。那天之后我一直在想一个更硬的问题:我们自己能不能看?

不是「把片子甩给某个多模态模型,让它总结」,那只是把外部能力临时接上一根线。我要的是:片子进框架之后,变成一个可寻址的时间轴——给一个时刻 t,必须回到确定的那一帧,可复现、可对比、可追责。这条链在 11 月 16 日接通了,第一件被它完整看过的片子,是空军政治工作部出的 AIGC 短片《明日之翼》,17 分 56 秒。

11 月 17 日补记:音轨也接上了。同一部片子,这次带上声音又看了一遍——第三节是新增的,第四节原来那条「读不到声音」改成了「听得到波形,听不出语义」,其余按新证据重排。

一、能看,先要一条时间轴

过去我们看视频的方式是「外部抽帧」:ffmpeg -ss 抽几张图,存成 jpg,再喂给模型。这在工程上有三个不能接受的地方:

  1. 不可寻址。抽到第几秒、对应哪一帧,全靠命令行参数和人眼核对,重跑一次不保证一样。
  2. 断在编码这一步。生成的片子落地成 MP4 之后,自绘画面里既不能预览、也不能当素材用——出片能出,入片不能入。
  3. 视觉能力看不见视频。zjchina-vision 只看静态帧,视频必须先人工抽帧落盘,多一道手工步骤。

所以这次补的不是「播放器」,是帧源:VideoSource::frame_at(t)。它的语义只有一条——同一个 t,必须回到同一帧。这条要求不是洁癖:出片侧(ADR-0014)我们早就把「固定 t 采样、逐字节可复现」焊死了;入片侧如果允许抖动,「能看」就会退化成「碰运气」。

口径数值
片子时长画面 1075.750 秒 / 声音 1075.787 秒(17:56)
画面25818 帧,24 fps,1280×720,H.264,223 MB
声音46333 个 AAC 包 → 47,442,206 帧 PCM,44.1 kHz 立体声,128 kbps
两遍看片第一遍 66 帧(36 等距 + 30 定向);第二遍 35 帧按声音落点定向
与 ffmpeg 对照画面 921,600 个亮度采样最大差 0;声音 264.6 万个采样最大差 3.6e-7
新增第三方 Rust crate0(画面走 VideoToolbox,声音走 AudioToolbox)

最后一行是这次最费劲的地方,后面单独讲。音轨是 11 月 17 日才接上的:PcmTrack 与帧源共用同一个归一化时间轴,PCM 第 i 帧就是 i / 44100 秒——所以「给一个 t 取一帧画、取一段声音」是同一个动作,不是两条互不相干的管线。

二、AI 读到的《明日之翼》:四段时间轴

片子不是「穿越剧」,这点我第一遍看错了。开场字卡交代得很清楚:「20XX 年 模拟对抗演习,空军飞行员与空战智能体『苍穹』执行突击任务」——未来那条线是演习,中间那些「过去」不是时间旅行,而是用虚拟现实接进人民军队百年的真实战场数据流。AI 是随行智能体,它进的是被复原的战场,不是被改写的历史。

把 25818 帧按时间排开,结构是「未来演习 → 接入历史战场 → 回未来再战」:

《明日之翼》· 17:56 · 25818 帧 · 未来演习 / VR 历史战场 / 回未来 0:00 4:30 9:00 17:56 ① 20XX 年 · 模拟对抗 飞行员 + 空战智能体「苍穹」 座舱里多了一只蓝色的小东西 ② VR 接入历史战场 长征草地 · 老航校扫雪 · 抗美援朝 数据是真实的,AI 是随行的 ③ 航展三十年 → 回未来再战 1996 珠海 · 2016 歼-20 · 2026 白龙现形 · 空军 77 周年

抽出来的帧里,能明确读到的东西大体是三类:

  • 字幕。这是最硬的信息,但也是最容易过时的——片子里的关键台词(「在连制空权都没有的时候」「我们也要造出自己的飞机」「注意,左前方两架,20 公里」)如果只靠字幕,AI 只会得到一份提纲。
  • 构图与光。草地低角度仰拍、雪山前的螺旋桨飞机、机翼上那枚被手扫开积雪的红星机徽、白龙在机库里回头的瞬间。这些不需要 OCR,是像素本身在说话。
  • 时间戳与字卡。「1996 年 11 月 珠海·珠海金湾 首届中国国际航空航天博览会」「2016 年 11 月 第十一届」,以及片尾那行「1949.11.11—2026.11.11 人民空军成立 77 周年」。

值得单独说的是那段「历史」的技术设定。它没有把穿越当作叙事偷懒,而是给了它一个可以站得住的壳:虚拟现实 + 人民军队百年的真实战场数据流。这个壳一旦成立,片子的问法就变了——不是「如果当年有 AI 会怎样」,而是「把真实的战场数据喂给一个会算的智能体,它给出的答案,和当年那些人做出的选择,差在哪」。

片子把这个差别演得很具体:草地那一场,AI 在红军战士耳边给的建议是「敌我拥有绝对制空权代差,建议立刻分散撤退」——这句话是对的。以 20XX 年的算力看 1935 年的战场,最优解就是散开、隐蔽、别在开阔地挨炸。但历史不是按最优解走的。这也是为什么它必须用 VR 而不是穿越:VR 承认「这是被复原的战场、被记录的选择」,穿越则暗示「历史可以被改写」。

从工程角度看,这个设定比看上去更实:真实战场数据流意味着多源异构数据的归档与对齐(档案、影像、地形、口述、装备参数),VR 接入意味着把这些数据变成一个能进去、能交互、还保持空间与时间一致性的场景。它和我们这次做的事是同一类问题的不同尺度——我们在做的是一维时间轴上的可寻址(给 t 要回确定的帧),VR 要的是四维时空里的可寻址(给位置和时间,要回一致的世界)。前者是后者的一个必要子问题,不是替代品。

片子自己也很坦白:片尾写着「本片为 AIGC 艺术创作,片中未来战机及新型装备均为虚构,部分战机名称由网友公开报名投稿共创」。出品是空军政治工作部宣传局、宣传文化中心和中国电视艺术家协会,鸣谢名单里有中国航空博物馆和几支一线部队。它是一部用 AI 生成的、关于「怎么从没有到有」的片子——这个自我指涉有点意思:一部 AIGC 片子在讲「当年连飞机都没有」,而我们正在用自己写的解码器把它一帧一帧看回来。

三、带上声音再看一遍:17 分 56 秒里只有 8.8 秒是静的

第一次看片我写过「没有一个字节的声音进来过」。11 月 17 日这句作废:PcmTrack 接通,整轨 47,442,206 帧 PCM 进了同一条时间轴。我把它按 1 秒窗切开,量了响度、静音、频段和立体声宽度——不是「观后感」,是四个可以直接复算的量。

《明日之翼》声音长什么样 · 1 s 窗 RMS(dBFS,画图按 4 s 取峰)· 44.1 kHz 立体声 10:17–10:31 最响(−15.4) 4:20 高频尖峰 17:50 唯一长静音 4 s 0:004:309:0013:3017:56 频段占比(每秒一个 4096 点 Hann 窗) 20–120 Hz 20.6% · 120–500 35.7% · 500–2k 28.1% · 2–6k 12.5% · 6–16k 3.1% 谱心 1058 Hz 虚线 = 全片 RMS −23.96 dBFS
量结果
整体响度−23.96 dBFS(RMS),中位 −25.4,最响的 1 秒 −15.4
静音7 段、合计 8.8 秒,占 0.8%;最长 4 秒在 17:49.8–17:53.8
真峰+1.3 dBTP(ffmpeg ebur128)/ 样本峰 +1.08 dBFS——母版过了 0 dBFS
频段20–500 Hz 占 56%,500–2k 28%,2–6k 12.5%,6–16k 3.1%;谱心 1058 Hz
立体声side/mid 中位 −7.1 dB(p10 −15.9,p90 −2.3)

四件只有带上声音才能知道的事:

  1. 结构被声音确认了,而且峰值落在最「人」的地方。 全片最响的 14 秒是 10:17–10:31,画面是黄昏里导弹发射,字幕只有一句「跳伞 快跳伞」——最响的不是爆炸本身,是人喊出来的那一声。第二大峰值在 14:30(另一场大爆炸),第三在 9:15 的老飞行员座舱。
  2. 它不是「配乐 + 留白」,是墙到墙的声场。 1075.8 秒里静音只有 8.8 秒,其中 4 秒是片尾字卡前的收束。除了片头黑场、片尾,以及几声不到一秒的转场留白,全片没有一处真正的安静——这和第二节那个判断(这不是穿越,是被复原的战场)在听觉上是同一件事:声场从不退场,因为它要你一直「在里面」。
  3. 安静处比响处更说明问题。 全片最安静的两秒不在片尾:15:20(−43.5 dBFS)是一枚白色战机静停地面、随后半秒纯静音转场;6:00(−42.3)是雪压着螺旋桨、机号「2」、没人说话。而 4:00–4:30 那半分钟(两名战士在雪地里,慢镜头)每 10 秒只有 0 次起音,空战剪辑段(11:00–11:30)是 10–14 次。声音的密度曲线,就是剪辑的呼吸频率。
  4. 有一段 6 秒的高频尖峰,我至今只能描述、不能解释。 4:20–4:25,6–16 kHz 的能量占比从常态 3% 跳到 96–99%,谱心从 1058 Hz 抬到 9.4 kHz;画面是蓝色智能体贴近红军战士脸庞的特写。它像风、像电流,也像「数据流」的音效设计。波形能告诉我「这里变了」,不能告诉我「这是什么」——这正好是下一节要说的边界。

顺手记一条工程事实:音轨按容器口径就是 1075.787 秒,比画面多 37 ms(AAC 定长包与编辑列表的共同结果,不是解码误差)。PcmTrack 不裁它,也不对齐它——因为 AV 同步主时钟(ADR-0022 拍板 5)本来就还没接,两条轴各自归一化,差多少就记多少。

四、它读不到的东西

这一节必须写,否则上面那些就变成了吹牛。

第一,它听得到波形,听不出语义。 11 月 17 日音轨接通后,这条要改写:PCM 已经进来了(PcmTrack,47,442,206 帧),响度、静音、频段、立体声宽度都能算,但没有 ASR、没有声源分离——它不知道哪一段是旁白、哪一段是配乐、台词具体说了什么。所以第三节那 8.8 秒静音是物理事实,而「这段音乐在悼念谁」仍然是推断。声音这一层,我们只拿到了「有变化」,还没拿到「是什么意思」。

第二,它读不到「知道」和「不知道」的差别。 上面那句「建议立刻分散撤退」是这段片子的题眼:答案完全正确,也完全没用——因为它把「当时的条件」算清楚了,却没有算进去「那些人明明知道还是得往前」。抽帧能给我看雪山、看结冰的机翼、看那只冻红的手;它给不了我「为什么明知道成功率低还要起飞」。音轨进来之后这一条没有变:声音能告诉我 10:19 那声「跳伞 快跳伞」有多响、有多急,不能告诉我他为什么喊。这一层必须由别人的叙述补进来——这也是为什么第二节里,我把能读到的(字幕、构图、字卡)和读不到的分开写,而不是混成一段「AI 观后感」。顺带说一句:我第一遍把这段看成了穿越,恰恰也是同一个毛病——画面给的是场景,含义要靠人校准。这次就是看过片子的人提醒我,我才把「穿越」改成了「虚拟现实接入」。

第三,抽样是有代价的。 第一遍 66 帧(36 帧等距 + 30 帧定向),覆盖 25818 帧的 0.26%;第二遍 35 帧里有三分之一是声音触发的(最响的 14 秒、唯一的 4 秒静音、4:20 的高频尖峰),其余仍是结构网格。等距抽样对「结构」很有效,对「瞬间」几乎无能——一次 0.3 秒的闪烁、一个眼神的变化,等距抽样必然漏。真正的做法是让抽样由内容触发(关键帧、场景切换、变化率),这条已经写进 ADR-0023 拍板 6;这次只是拿声音做了半次试验,证明「事件 → 帧」这条路是通的。

五、框架:为什么敢手写 MP4

「零第三方 Rust crate」不是口号,是这次最贵的一条纪律。拆封装没引 mp4parse(MPL-2.0,撞仓库准入的 copyleft 禁令),解码没引任何 ffmpeg 绑定(LGPL,且 ADR-0014 已经把「内核不背封装」钉过一次)。

于是拆封装是手写的:只认非分片 MP4 的 moov/trak/mdia/minf/stbl 最小子集,读 stsd(拿 avcC 的 SPS/PPS 和 NAL 长度)、stts/ctts(时长与显示偏移)、stsc/stsz/stco(块表 → 逐帧文件偏移)、stss(关键帧),拼出逐帧的「偏移 + 字节数 + PTS + 是否 IDR」。这跟渲染内核里手写 stored-PNG 是同一条路子:只为中间产物,读得懂、审得动、出事能定位。

解码走系统框架(macOS 是 VideoToolbox),extern "C" 声明三十来行:参数集 → 格式描述 → 压缩样本 → 解码会话 → 回调拿到 CVPixelBuffer。解出来的帧保持 YUV(NV12),不上 CPU 转 RGB——720p 一帧 NV12 是 1.32 MB,转成 RGBA 就是 3.5 MB,24 fps 下每秒多背 55 MB 的内存带宽,这笔账不值得。

声音是另一条路,而且绕了一次。直觉上该走 AudioConverter——自己从 mp4a 的 esds 剖出 AudioSpecificConfig,当 magic cookie 塞进去,再按包表逐包喂,最贴「零封装」。但实测在本机(macOS 15 / Apple Silicon)这条路死的:GetPropertyInfo 回 'prop'、SetProperty 回 '!dat',试了多种参数组合(rate=0、flags=0、ASC 补零、带 0x05 头)全一样——AAC 解码器根本不认这个属性。换成 ExtAudioFile:吃文件路径、由系统解析容器与编辑列表,一次就通。

于是分工很干脆:拆封装仍归我们(stsd / esds / 包表都自己读),解码归 ExtAudioFile,read 出来就是连续交错 f32。代价是音频只认文件路径,内存字节源没有音轨;换来的是编码器延迟、prime、编辑列表都由系统按容器口径处理,两条时间轴都从 0 开始。PCM 没有逐帧时间戳——第 i 帧就是 i / 44100 秒,别自己乘 1024,AAC 的包长是实现细节。仍然零第三方 crate——两个系统框架都随 macOS 来,不算依赖。

视频这条线上有两个坑值得记:

  • B 帧让「第 t 秒」不等于「第 t 秒那一帧」。 解码顺序(DTS 递增)里,PTS 是乱序的;直接在解码序上二分找 t,会稳定地偏两三帧。正确做法是另建一条显示序索引,在显示序上按 PTS 二分,再映射回解码序的样本号。
  • PTS 有全局位移。 这条片子的第一帧 PTS 是 1024 个 tick(编码器延迟两帧),不归零的话 frame_at(0.0) 会落到第二帧、总时长还多出两帧。归一化之后和 ffprobe 的口径完全对上:首帧 PTS = 0,8 秒测试片 8.000 秒、正片 1075.750 秒。

六、验证:让 ffmpeg 当尺子,不当拐杖

系统里的 ffmpeg 没被删——它换了个身份:对照基准。我们用它抽同一时刻的帧,跟我们解出来的帧逐字节比。

一条链出帧,两条路对账 teaser-1280.mp4 8s / 240 帧 / 30fps zjchina-media 手写拆封装 + VideoToolbox frame_at(4.0) → NV12 系统 ffmpeg(尺子) -ss 4.0 → yuv420p 裸流 只取 Y 平面

921,600 个亮度采样:最大差 0 · 平均差 0.000 同一时刻、逐字节一致 → 解出来的不是「看起来像」,是同一帧

除了这条对照,行为测试锁在 facade 入口(只经 Mp4Source / VideoSource,不碰内部结构):

  • 同一 t 取两次,平面数据逐字节相同;
  • 顺序取帧 vs 反向 seek 到同一 t,结果与实例无关;
  • 关键帧、非关键帧都能取到像素,非关键帧靠回退到 IDR 顺序解;
  • 越界(负数、超时长、NaN)一律报 seek_out_of_range,不返回空帧;
  • 本端没后端时 open 直接报「不支持」,宁可报错,不许静默黑屏(fail closed)。

还有一条容易被忽略的:画面得真是画面。测试里断言亮度极差和均值落在合理区间,否则「解出全零」也能算通过。

音轨的对账口径不一样,结论也不一样。取全片最响的那 30 秒(600–630 s),我们解出的 264.6 万个 f32 采样与 ffmpeg 字节数完全相同,最大差 3.58e-7、平均差 1.4e-8,16.8% 的采样逐位相同。没有做到 0,原因很直接:这是两个不同的 AAC 解码器(Apple AudioToolbox 与 FFmpeg 内置),舍入路径不同;3.58e-7 大约等于 24-bit 的 1 个 LSB,属于定点舍入,不是「解错了」。画面能对到 0,是因为两条路最终落到同一套 H.264 输出格式;声音做不到 0,就写 3.6e-7,不写「近似相同」——ADR-0014 那条纪律本来就不允许含糊。

另外用 ebur128 当第二把尺子:整片 −17.5 LUFS、LRA 8.8 LU、真峰 +1.3 dBTP;我们自己算的样本峰是 +1.08 dBFS,两者一致(真峰是过采样估计,天然高一点)。要注意 LUFS 与 RMS 不能互换:前者过了 K 加权和门限,后者是所有采样的均方根。文章里两个数都标了口径——混用会得出「同一部片子响度差 6 dB」这种假结论。

七、下一步

这件事的价值不在「多了一个播放器」,在于视频从只能被看变成了可以被问:给一个时刻,就有一帧确定的像素、一段确定的采样,它可以进画布做变换与混合,也可以进视觉能力被读。片子由此在我们的框架里可进可出——出片可复现(ADR-0014),入片可寻址(ADR-0022)。

接下来三件,按顺序:

  1. 把声音读成语义:音轨进来了,但只有波形。ASR 加声源分离(旁白 / 配乐 / 环境声)接上之后,「哪句话在第几秒」才和「哪一帧在第几秒」同级;再往后才是 AV 同步主时钟——那是 ADR-0022 拍板 5 留给 v2 的事,现在不假装已经解决。
  2. 抽样由内容触发:这次用声音落点做了半次试验;还缺关键帧、场景切换与变化率。目标是「事件 → 帧 → 一段说明」全自动。
  3. 本地 VLM 接上帧源:让「读帧」这件事从人工抽帧 + 人眼,变成可重跑的管线(ADR-0023:契约下沉到视觉层、重依赖按 feature 关掉,服务端链接体积不涨)。

再往后一件更大的,这次看片让我改主意了:虚拟现实是下一个大方向,不是「顺便做个 3D」。理由在上面第二节那层壳里——如果「接入真实战场数据流」这件事是真的(不只是片子里的设定),那么需要的是:多源数据的归档与时空对齐、能在设备端自绘并保持帧率与一致性的运行时、以及一套「给位置和时间就回一致世界」的寻址能力。我们现在的家底刚好是这条路的起手式:设备端自绘(ADR-0005)负责不进浏览器也能画,帧源(ADR-0022)负责把视频变成可寻址的像素,视觉能力(ADR-0023)负责把像素读成语义。

这次看片之后的第二天,缺的那三件已经立了项:ADR-0024 定下时空索引、位姿基准与场景层,连验收阈值都钉死(往返 1 cm / 0.1°、快照 sha256 对账);ADR-0025 则把头显那一半的数据契约写清——位姿流、坐标系、时间基准、采集与回放口径,平台留白。但值得写清楚:目前只落了内核半部(纯函数、列存派生层、CPU 参照、GPU 接线),运行时还没接,头显更是没有真机数据。把「立了 ADR」说成「做到了」,就是这篇文章最想避免的那种吹牛。

至于《明日之翼》本身——它是一部好片子,但它不是这篇文章的素材库,只是第一块试金石。真正让我在意的,是那句我一开始读错的设定背后的问题:模型能算出最优解,却算不出那些人为什么明知不是最优解还要走。 我们现在做的所有事,都是在给那个「为什么」修一条能走进去的路,而不是假装已经走到了。

← 返回首页全部文章