1. 音画同步基础：人类感知阈值、唇音同步标准与时间戳
各位好，我是老周。做音视频这行十几年了，踩过的坑不少。今天咱们聊聊音画同步——这个看似简单、实则让无数工程师头疼的问题。
说白了，音画同步就是让声音和画面在时间上对齐。你可能会想：“这有什么难的？一起录、一起播不就行了？”嗯，实际做起来远没那么简单。我见过不少项目，编解码器一换，同步就崩了。
1.1 人类感知阈值：耳朵比眼睛更挑剔
先问个问题：声音比画面早多少，你会觉得不对劲？晚多少又会难受？
我早年做直播系统时，有个血泪教训。当时把音频超前视频 200ms，自己测试觉得还行。结果上线后用户投诉炸了——说看主播说话像在配音。后来查文献才知道，人耳对音画偏移的敏感度远超我想象。
核心数据：
- 音频超前视频：超过 45ms 就能被察觉
- 音频滞后视频：超过 125ms 开始明显
- 专业广播标准：要求控制在 ±40ms 以内
为什么会这样？因为大脑处理声音的速度比图像快。你想想看，听到枪声再看到枪口冒烟，你会觉得“这什么破片子”。反过来，先看到冒烟再听到声音，反而觉得正常——因为现实中光速比声速快。
| 偏移方向 | 可察觉阈值 | 明显不适阈值 | 不可接受阈值 |
|---|---|---|---|
| 音频超前 | 45 ms | 90 ms | 160 ms |
| 音频滞后 | 125 ms | 185 ms | 240 ms |
个人经验：我习惯把音频超前控制在 30ms 以内，滞后控制在 80ms 以内。这样即使经过编解码器、网络传输的累积延迟，最终效果也能在标准范围内。
1.2 唇音同步标准：ITU-R BT.1359 说了什么
说到标准，绕不开 ITU-R BT.1359。这是国际电信联盟制定的音视频同步规范，也是目前业界最权威的参考。
我记得第一次看这个标准时，觉得它写得真细。它把同步质量分成了三个等级：
- 不可察觉：偏移 ≤ 45ms，观众完全感觉不到
- 可察觉但不影响体验：45ms ~ 125ms，有人能感觉到，但不会投诉
- 明显影响体验：> 125ms，必须修复
这里有个坑：标准说的是“端到端”的同步，也就是从拍摄到显示的全链路。我曾经遇到一个项目，编码器输出时同步是好的，但播放器解码后却差了 100ms。查了半天，发现是播放器的音频渲染缓冲区太大。
避坑指南：不要只检查编码器输出端的同步。一定要在最终显示设备上验证。我曾经吃过这个亏——编码器输出完美，但播放器端因为音频缓冲策略不同，硬生生多出了 80ms 延迟。
1.3 PTS/DTS：时间戳才是真正的“对齐工具”
好了，知道了标准，怎么实现？答案就是时间戳——PTS 和 DTS。
这两个概念，我刚开始做的时候也搞混过。简单说：
- PTS（Presentation Time Stamp）：显示时间戳，告诉播放器“这帧画面/这段音频什么时候该显示/播放”
- DTS（Decoding Time Stamp）：解码时间戳，告诉解码器“这帧数据什么时候该解码”
你可能会问：“为什么要有两个？一个不够吗？”
嗯，这得从视频编码的帧类型说起。B 帧（双向预测帧）需要依赖后面的帧才能解码。所以解码顺序和显示顺序不一样。举个例子：
显示顺序：I1 B2 B3 P4 B5 B6 P7
解码顺序：I1 P4 B2 B3 P7 B5 B6看到了吗？B2 和 B3 虽然显示在 P4 之前，但解码必须在 P4 之后。DTS 就是用来告诉解码器“按这个顺序解”，PTS 告诉播放器“按那个顺序播”。
关键点：
- 音频通常只有 PTS，因为音频帧没有帧间依赖
- 视频必须有 PTS 和 DTS，尤其是包含 B 帧的码流
- PTS 和 DTS 的单位通常是 90kHz 时钟（即 1/90000 秒）
我习惯在编码器初始化时就设置好时间基，然后每个帧都严格打戳。曾经有个项目，编码器输出的 PTS 跳变不连续，导致播放器频繁卡顿。查了两天才发现是时间基设置错了。
1.4 知识体系总览
下面这张图，是我自己总结的音画同步知识框架。你看一眼，就能明白今天讲的内容在整个体系中的位置。
这张图把今天的内容串起来了。左边是感知阈值——告诉你“多差算差”；中间是标准——告诉你“多差必须修”；右边是时间戳——告诉你“怎么对齐”。三者缺一不可。
1.5 小结
今天聊了三个基础概念：
- 人类感知阈值：音频超前 45ms、滞后 125ms 是红线
- ITU-R BT.1359：端到端同步的权威标准，分三个等级
- PTS/DTS：解码和显示的时间戳，B 帧场景必须区分
这些是后面所有章节的基础。编解码器怎么影响同步、怎么测量、怎么修复——都离不开今天讲的这些东西。我个人建议你把这三个概念刻在脑子里，后面会反复用到。