1. 移动端音视频工程全景

移动端音视频工程并不是“调用一个播放器 SDK”那么简单。它是一条从采集、编码、传输、解码到渲染的完整链路，同时还要处理设备差异、网络抖动、功耗、发热、回声、延迟与音画同步等工程问题。理解这条链路的全景，是后续所有章节的地基。

一、典型应用场景决定技术选型

不同场景对音视频链路的要求差异极大，先看几个典型场景的关键指标：

可以看到，延迟要求越苛刻，协议越倾向于 UDP 与 RTC 体系；而对延迟不敏感的场景，则更愿意用 HTTP 系协议换取兼容性与成本优势。选型的第一步，永远是先明确场景的延迟、清晰度、并发与功耗边界。

二、技术栈分层：从硬件到业务

移动端音视频技术栈可以自上而下分为五层，每一层都有明确的职责边界：

• 业务层：房间管理、鉴权、消息信令、UI 交互、埋点与质量上报。
• 会话层：信令协商（SDP/Offer-Answer）、ICE 打洞、房间状态机、订阅关系。
• 传输层：RTP/RTCP、SRTP 加密、NACK/PLI/FIR 重传、FEC 前向纠错、拥塞控制（GCC/BWE）。
• 编解码层：H.264/H.265/AV1 视频编解码，AAC/Opus 音频编解码，码率控制与关键帧策略。
• 采集与渲染层：Camera2/AVCaptureSession 采集、AudioRecord/AudioUnit 采集、OpenGL ES/Metal 渲染、AudioTrack 播放。

越往下越贴近硬件与系统，越往上越贴近业务。工程中最常见的性能问题，往往出在“层与层之间的边界”——比如采集线程与编码线程的缓冲队列设计不当，就会造成延迟累积或丢帧。

三、学习路径：先打通一条最小链路

面对如此庞杂的体系，最容易犯的错误是“什么都学一点，但一条链路都跑不通”。建议的学习路径是：

1. 先跑通本地采集—编码—解码—渲染闭环，不涉及网络。这一步能让你理解时间戳、帧缓冲、硬编硬解的输入输出格式。
2. 再引入本地文件封装与播放，理解容器格式（MP4/FLV）与音视频轨道的组织方式。
3. 然后接入网络传输，从 RTMP 推流或 WebRTC 一对一通话入手，观察延迟与丢包表现。
4. 最后做质量优化：码率自适应、弱网对抗、回声消除、功耗控制。

每一步都要有可观测的指标。例如在第一步中，你可以用 Android 的 MediaCodec 配合 Surface 做硬解渲染，观察从 dequeueInputBuffer 到 releaseOutputBuffer 的耗时；在第三步中，用 Wireshark 或自建 RTCP 统计观察丢包与抖动。

四、工具链准备

工欲善其事，必先利其器。移动端音视频开发常用的工具链包括：

• 抓包与分析：Wireshark（RTP/RTCP 分析）、Charles/Fiddler（HTTP 系协议）、tcpdump。
• 性能剖析：Android Studio Profiler、Systrace/Perfetto、Xcode Instruments（Time Profiler、Energy Log）。
• 编解码调试：FFmpeg 命令行、Elecard StreamEye、YUV 查看器（如 YUView）。
• 网络模拟：Clumsy（Windows）、Network Link Conditioner（macOS/iOS）、Android 模拟器网络限速。
• 质量监控：自建埋点 + 看板，关注首帧、卡顿、延迟、错误码分布。

五、一个可执行的环境检查清单

在开始写第一行音视频代码之前，先确认以下环境项：