4. Android多媒体框架概览
在Android多媒体体系中，Buffer并不是一个抽象概念，而是贯穿采集、解封装、解码、渲染、编码、封装全链路的“数据载体”。理解各组件之间Buffer如何申请、填充、传递、释放，是后续做零拷贝优化的前提。本节从整体框架出发，梳理六个核心组件在Buffer流转中的角色与衔接关系。
一、核心组件与Buffer角色定位
Android多媒体框架可以按“输入侧—处理侧—输出侧”来理解。输入侧负责产生或解析数据，处理侧负责编解码与格式转换，输出侧负责渲染或封装落盘。每个组件对Buffer的所有权和管理方式都不同。
- MediaExtractor：负责解封装，从MP4、MKV等容器中分离出音视频轨道，输出压缩码流样本（sample）。它管理的是文件读取缓冲，通常通过
readSampleData()把数据填入调用方提供的ByteBuffer。 - MediaCodec：编解码核心。输入压缩数据，输出原始帧（解码）或压缩码流（编码）。它使用一组输入/输出Buffer队列，通过
dequeueInputBuffer()和dequeueOutputBuffer()与应用交换数据。 - MediaMuxer：封装器。把编码后的音视频压缩数据按容器格式写入文件，通过
writeSampleData()接收ByteBuffer。 - Camera2：采集侧。通过
ImageReader或Surface接收图像帧，帧数据以GraphicBuffer形式在管线中流转。 - ImageReader：Camera2与编码器之间的桥梁，提供
acquireLatestImage()获取Image对象，底层持有GraphicBuffer。 - AudioTrack：音频输出侧。接收PCM数据并送入AudioFlinger混音输出，数据通过共享内存环形缓冲区传递。
二、Buffer流转全景图
下图展示从采集/解封装到编码/解码，再到渲染/封装的完整Buffer流转路径。注意箭头方向代表数据流动方向，虚线框表示跨进程边界。
三、典型场景中的Buffer流转链路
以“Camera2采集 → 编码 → 封装MP4”为例，完整链路如下：
- Camera2打开设备，创建
ImageReader或直接创建编码器输入Surface。 - 若走ImageReader，则
acquireLatestImage()拿到Image，底层GraphicBuffer被映射为可读内存；若直连Surface，则帧数据直接进入MediaCodec输入Surface，实现零拷贝。 - MediaCodec编码器从输入Surface取帧，编码后通过
dequeueOutputBuffer()输出压缩数据到ByteBuffer。 - 将ByteBuffer数据通过
writeSampleData()写入MediaMuxer，最终生成MP4文件。
音频链路则不同：AudioRecord采集PCM后，可直接写入MediaCodec编码器输入Buffer，编码后同样送入MediaMuxer。播放时，MediaExtractor解封装→MediaCodec解码→AudioTrack播放，PCM数据经共享内存环形缓冲输出。
四、Buffer管理方式对比
| 组件 | Buffer类型 | 获取方式 | 是否跨进程 | 零拷贝潜力 |
|---|---|---|---|---|
| MediaExtractor | ByteBuffer | readSampleData() | 否 | 低，需拷贝到codec输入 |
| MediaCodec | ByteBuffer / Surface | dequeueInput/OutputBuffer | 是 | 高，Surface模式可零拷贝 |
| MediaMuxer | ByteBuffer | writeSampleData() | 否 | 低，需拷贝写入 |
| Camera2 | GraphicBuffer | ImageReader / Surface | 是 | 高，可直连编码器 |
| ImageReader | Image / GraphicBuffer | acquireLatestImage() | 是 | 中，取决于使用方式 |
| AudioTrack | 共享内存环形缓冲 | write() | 是 | 中，PCM需写入共享内存 |
五、常见误区与复盘
误区一：认为所有Buffer流转都是零拷贝。实际上，MediaExtractor到MediaCodec、MediaCodec到MediaMuxer、AudioTrack写入等环节都存在内存拷贝。零拷贝优化主要发生在Camera2→编码器Surface、MediaCodec→Surface渲染等路径。
误区二：忽略Buffer所有权与释放时机。MediaCodec的输入Buffer在queueInputBuffer()后所有权归codec；输出Buffer在releaseOutputBuffer()后才可复用。ImageReader的Image必须调用close()，否则会耗尽缓冲区导致采集卡顿。
复盘建议：排查Buffer问题时，先确认每个组件的Buffer容量与数量配置，再检查是否及时释放。常见日志如dequeueBuffer: BufferQueue has been abandoned或ImageReader: maxImages reached，都指向Buffer未正确释放。
// 典型MediaCodec Buffer流转伪代码
codec.start();
while (true) {
int inIdx = codec.dequeueInputBuffer(10000);
if (inIdx >= 0) {
ByteBuffer inBuf = codec.getInputBuffer(inIdx);
inBuf.put(sampleData);
codec.queueInputBuffer(inIdx, 0, sampleSize, pts, 0);
}
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
int outIdx = codec.dequeueOutputBuffer(info, 10000);
if (outIdx >= 0) {
ByteBuffer outBuf = codec.getOutputBuffer(outIdx);
muxer.writeSampleData(trackIndex, outBuf, info);
codec.releaseOutputBuffer(outIdx, false);
}
}