1. 课程导入
在 Android 系统中，音视频能力并不是由某一个单独模块完成的，而是由应用层、框架层、原生媒体服务、硬件抽象层以及芯片编解码器共同协作形成的一条完整链路。理解这条链路，是学习 MediaCodec 与 Codec2 的前提。很多开发者在遇到“播放花屏”“编码卡顿”“分辨率切换失败”“码率控制异常”等问题时，往往只盯着 API 调用，却忽略了底层组件之间的职责边界与数据流向，导致定位效率很低。本课程的第一节，先建立整体地图，再明确 MediaCodec 与 Codec2 在其中的位置。
一、Android 多媒体框架的整体分层
从应用视角看，最常见的入口包括 MediaPlayer、MediaRecorder、ExoPlayer、CameraX、AudioTrack 等；再往下会进入 Java 框架层的 MediaCodec、MediaExtractor、MediaMuxer 等类；继续向下则进入 native 层的 libmedia、ACodec、NuPlayer、Stagefright 等模块，最终通过 OMX 或 Codec2 接口访问厂商编解码器。可以用下面的结构关系图快速建立位置感：
这张图强调一个关键事实：MediaCodec 是应用与底层编解码器之间的统一门面，而 Codec2 是 native 层的一种现代组件模型。应用通常只与 MediaCodec 交互，但实际运行时可能走 OMX，也可能走 Codec2，取决于系统版本、厂商实现和组件选择策略。
二、MediaCodec 与 Codec2 的定位差异
MediaCodec 是 Android 自 API 16 起提供的 Java/C++ 编解码接口，负责输入压缩数据或原始数据、输出解码后或编码后的数据。它管理输入缓冲、输出缓冲、格式协商、关键帧请求、时间戳等。Codec2 则是 Android 10 前后逐步引入的下一代编解码框架，位于 native 层，用 C2Component、C2Work、C2Buffer 等抽象替代传统 OMX 组件，目标是简化状态机、提升可扩展性、支持更复杂的编解码场景。
| 对比维度 | MediaCodec | Codec2 |
|---|---|---|
| 所在层级 | Java 框架层 / NDK 接口 | Native 编解码框架层 |
| 主要职责 | 面向应用提供统一编解码 API | 定义组件模型、工作队列与缓冲抽象 |
| 典型对象 | MediaCodec、MediaFormat、BufferInfo | C2Component、C2Work、C2Buffer |
| 与 OMX 关系 | 可间接走 OMX 或 Codec2 | 替代 OMX 的现代路径 |
| 开发者关注点 | 缓冲管理、状态切换、格式协商 | 组件注册、能力查询、工作流调度 |
三、核心原理：从应用到硬件的信号链
以“解码一个 H.264 视频帧”为例，典型信号链如下：应用把压缩数据送入 MediaCodec 的输入缓冲；MediaCodec 通过 ACodec 或 Codec2 客户端把数据交给具体组件；组件调用硬件解码器完成解码；输出缓冲再回到应用或直接送到 Surface 显示。编码方向则相反：原始帧从 Camera 或 Surface 进入，经过编码器输出压缩码流，再交给 MediaMuxer 封装。
应用层：MediaCodec.queueInputBuffer()
↓
框架层：ACodec / MediaCodecService 协商格式与缓冲
↓
Native 层：OMX 组件 或 Codec2 C2Component
↓
硬件层：芯片编解码器执行 H.264/H.265 解码
↓
输出：dequeueOutputBuffer() → Surface / ByteBuffer这条链路中，任何一个环节的参数不匹配都可能导致失败。例如应用请求 4K 解码，但底层组件只支持 1080p；或者输入时间戳不单调，导致播放器丢帧；又或者输出缓冲未及时释放，造成阻塞。理解链路后，排查问题就能从“猜 API”转为“按层定位”。
四、典型场景与常见误区
场景一：短视频编辑应用需要快速解码多段视频并合成。开发者直接创建多个 MediaCodec 实例，结果低端机频繁失败。原因是硬件编解码器实例数量有限，应复用或串行处理。场景二：直播推流应用希望控制码率，但只设置 MediaFormat 的 bitrate，忽略关键帧间隔和码率模式，导致画面波动。场景三：系统升级后，原本走 OMX 的路径切换到 Codec2，某些私有参数失效，需要重新查询能力。
常见误区：把 MediaCodec 当成“编解码器本身”。实际上它是门面与调度层，真正执行编解码的是底层组件。另一个误区是认为 Codec2 只是 OMX 的改名。Codec2 在工作队列、缓冲模型、组件生命周期上都有明显差异，适配时需要重新理解。
学习建议：先掌握 MediaCodec 的同步与异步模式、输入输出缓冲流程、格式协商和状态机；再深入 Codec2 的组件模型与工作流。遇到问题时，用 MediaCodecList 查询组件，用 dumpsys media.codec 观察底层状态，用 logcat 过滤 ACodec、Codec2、CCodec 等关键字。
五、本课程整体框架与学习目标
本课程共 30 节，围绕“能用、能调、能适配”三个层次展开。前半部分建立 MediaCodec 的核心使用能力，包括生命周期、缓冲管理、同步/异步模式、格式与参数、Surface 输入输出；中段进入 Codec2 的组件模型、工作队列、缓冲与状态管理；后段聚焦适配实践，包括组件选择、能力查询、OMX 到 Codec2 的迁移、性能与功耗优化、典型故障排查。学完后，你应该能够独立完成一个音视频编解码模块的设计、实现与问题定位。
- 理解 Android 多媒体框架分层与数据流向。
- 掌握 MediaCodec 的创建、配置、启动、输入输出与释放流程。
- 理解 Codec2 的组件、工作、缓冲与状态模型。
- 能够根据设备能力选择合适的编解码组件与参数。
- 能够定位花屏、卡顿、失败、功耗异常等常见问题。