4、Camera编码实战：Camera2 API + MediaCodec 实时编码Pipeline搭建、Surface输入模式、编码参数调优

好，我们直接进入正题。这一章要解决一个很实际的问题：怎么把Camera2拍到的画面，用MediaCodec实时编码成视频流。说白了，就是让手机摄像头变成一台“直播摄像机”。

我当年第一次搭这个Pipeline的时候，踩了不少坑。最典型的一个——编码器启动后画面卡住不动，查了两天才发现是Surface的尺寸没对齐。嗯，这种细节我们后面会重点讲。

4.1 整体架构：Camera2 + MediaCodec 的协作关系

先看一张整体流程图，把Camera2和MediaCodec之间的数据流向理清楚。

这个架构的核心思路是：Camera2 不直接输出 YUV 或 NV21 数据给编码器，而是通过 Surface 做桥梁。Camera 硬件把帧数据直接写入 Surface，MediaCodec 再从 Surface 消费。这样做的好处是零拷贝，性能损耗极小。

4.2 搭建实时编码Pipeline：分步实现

下面我们一步步把代码写出来。我会用伪代码 + 关键代码片段的方式讲解，方便你理解整体逻辑。

4.2.1 创建 MediaCodec 编码器并获取 Surface

// 1. 创建编码器
MediaCodec codec = MediaCodec.createEncoderByType(MediaFormat.MIME_TYPE_AVC);

// 2. 配置 MediaFormat
MediaFormat format = MediaFormat.createVideoFormat(
    MediaFormat.MIME_TYPE_AVC, 1920, 1080);
format.setInteger(MediaFormat.KEY_BIT_RATE, 8_000_000);      // 8 Mbps
format.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);      // 关键帧间隔1秒
format.setInteger(MediaFormat.KEY_COLOR_FORMAT,
    MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);    // Surface模式

// 3. 配置编码器
codec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

// 4. 获取输入 Surface
Surface inputSurface = codec.createInputSurface();

// 5. 启动编码器
codec.start();

这里有个坑：COLOR_FormatSurface 是 Surface 模式的标志。如果你不小心设成了 COLOR_FormatYUV420Planar，编码器会尝试从 ByteBuffer 读取数据，Surface 模式就失效了。我刚开始就犯过这个错。

4.2.2 配置 Camera2 使用该 Surface

// 1. 创建 CaptureRequest.Builder
CaptureRequest.Builder requestBuilder =
    cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD);

// 2. 添加编码器的 Surface 作为输出目标
requestBuilder.addTarget(inputSurface);

// 3. 可选：添加预览 Surface（如果需要预览画面）
// requestBuilder.addTarget(previewSurface);

// 4. 创建 CaptureSession
cameraDevice.createCaptureSession(
    Arrays.asList(inputSurface),   // 注意：这里也要传 Surface
    new CameraCaptureSession.StateCallback() {
        @Override
        public void onConfigured(CameraCaptureSession session) {
            // 5. 开始重复请求
            session.setRepeatingRequest(requestBuilder.build(),
                null, null);
        }
        // ... 其他回调
    }, null);

4.2.3 从编码器取出编码后的数据

// 在独立线程中循环取出编码数据
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
while (!isStopRequested) {
    int outputIndex = codec.dequeueOutputBuffer(bufferInfo, 10_000);
    if (outputIndex == MediaCodec.INFO_TRY_AGAIN_LATER) {
        // 没有数据，稍后重试
        continue;
    }
    if (outputIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
        // 编码器输出格式变化，通常发生在刚启动时
        MediaFormat newFormat = codec.getOutputFormat();
        // 将新格式传递给 MediaMuxer
        muxer.start(newFormat);
        continue;
    }
    ByteBuffer outputBuffer = codec.getOutputBuffer(outputIndex);
    // 处理编码数据（写入文件或网络发送）
    processEncodedData(outputBuffer, bufferInfo);
    codec.releaseOutputBuffer(outputIndex, false);
}

这里要注意 INFO_OUTPUT_FORMAT_CHANGED 事件。编码器启动后，会先输出一个空的格式信息，告诉 MediaMuxer 视频的编码参数。如果你没处理这个事件，MediaMuxer 会报错。

4.3 编码参数调优：找到最佳平衡点

参数调优是编码Pipeline里最考验经验的部分。我列一个表格，把关键参数和调优方向说清楚。

参数	典型值范围	调优方向	我的经验
BIT_RATE	2~20 Mbps (1080p)	码率越高画质越好，但文件越大	8Mbps是1080p@30fps的甜点值
FRAME_RATE	15~60 fps	帧率越高越流畅，但编码压力大	30fps足够大多数场景
I_FRAME_INTERVAL	1~5 秒	间隔越小，随机寻址越快，但码率浪费	直播场景用1秒，录播用2秒
COLOR_FORMAT	Surface / YUV420	Surface模式性能最优	无脑选Surface
PROFILE	Baseline / Main / High	Profile越高压缩率越高	兼容性优先选Baseline
LEVEL	3.1 / 4.0 / 4.1	Level决定最大分辨率和码率	1080p选4.0，4K选5.1

4.4 实战中的常见问题与解决方案

这里总结几个我实际项目中遇到过的问题，希望能帮你少走弯路。

• 问题1：编码器启动后画面卡住
  原因：Camera2 的 CaptureRequest 没有正确绑定编码器的 Surface。
  解决：检查 addTarget() 传入的 Surface 是否来自 codec.createInputSurface()。
• 问题2：编码输出花屏或绿屏
  原因：Camera 输出的分辨率与编码器配置的分辨率不一致。
  解决：确保 Camera2 的预览尺寸和编码器的宽高完全匹配。
• 问题3：编码延迟越来越高
  原因：编码器输出队列没有被及时消费。
  解决：在独立线程中循环 dequeueOutputBuffer()，不要阻塞主线程。
• 问题4：MediaMuxer 报错 "Failed to start"
  原因：没有处理 INFO_OUTPUT_FORMAT_CHANGED 事件。
  解决：在收到该事件后再调用 muxer.start()。

4.5 完整Pipeline代码骨架

最后，我把整个Pipeline的代码骨架整理出来。你可以把它当作模板，直接套用到自己的项目里。

public class CameraEncoderPipeline {
    private CameraDevice cameraDevice;
    private MediaCodec codec;
    private MediaMuxer muxer;
    private Surface inputSurface;
    private volatile boolean isRunning = false;

    public void startEncoding(int width, int height, int bitRate, int frameRate) {
        // 1. 创建并配置编码器
        codec = createVideoCodec(width, height, bitRate, frameRate);
        inputSurface = codec.createInputSurface();
        codec.start();

        // 2. 打开Camera并绑定Surface
        openCameraAndBindSurface(inputSurface);

        // 3. 启动编码输出线程
        isRunning = true;
        new Thread(this::drainEncoderOutput).start();
    }

    private void drainEncoderOutput() {
        MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
        while (isRunning) {
            int index = codec.dequeueOutputBuffer(info, 10_000);
            if (index >= 0) {
                ByteBuffer data = codec.getOutputBuffer(index);
                // 写入MediaMuxer或网络发送
                muxer.writeSampleData(0, data, info);
                codec.releaseOutputBuffer(index, false);
            } else if (index == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                muxer.start(codec.getOutputFormat());
            }
        }
    }

    public void stopEncoding() {
        isRunning = false;
        // 关闭Camera、编码器、Muxer
        // 注意释放顺序：先停Camera，再停编码器
    }
}

这个骨架看起来简单，但实际落地时，线程管理、异常处理、资源释放都是容易出问题的地方。我建议你在 stopEncoding() 里加一个超时机制，防止编码器卡死在 dequeueOutputBuffer() 上。

好了，这一章的内容就到这里。Surface 输入模式是 Android 编码的基石，理解透了这个 Pipeline，后面讲 H.264/H.265 编码细节、码率控制策略时，你就能更快上手。