第2章 编码器与解码器选择：MIME类型、厂商扩展、软硬编码对比

2.1 MIME类型与Codec匹配原理

MediaCodec通过MIME（Multipurpose Internet Mail Extensions）类型来标识支持的媒体格式。每个编解码器组件在注册时声明一个或多个MIME类型，例如video/avc（H.264）、audio/mp4a-latm（AAC）。应用层通过MediaCodecList查询符合目标MIME类型的Codec实例，匹配过程遵循以下原则：

• 完全匹配：MIME字符串必须大小写敏感一致，例如video/HEVC不等同于video/hevc。
• 优先级：硬件编解码器（FEATURE_HardwareCodec标志）默认优先于软件实现，但可通过MediaCodecList.PREFERRED与MediaCodecList.REGULAR过滤器控制。
• 厂商扩展MIME：某些芯片厂商会注册私有MIME类型（如video/x-vnd.on2.vp9），用于暴露专属编码特性。

查询编解码器的标准API示例：

MediaCodecList codecList = new MediaCodecList(MediaCodecList.ALL_CODECS);
String targetMime = MediaFormat.MIMETYPE_VIDEO_AVC; // "video/avc"
for (MediaCodecInfo info : codecList.getCodecInfos()) {
    boolean isEncoder = info.isEncoder();
    for (String type : info.getSupportedTypes()) {
        if (type.equalsIgnoreCase(targetMime) && (isEncoder == true)) {
            // 找到支持H.264编码的组件
            String name = info.getName();
            boolean isHardware = info.isHardwareAccelerated();
            // 记录该编码器信息
        }
    }
}

2.2 厂商扩展与硬件特性

Android OEM在硬件驱动层常添加非标准扩展，用于提升编解码效率或支持特殊分辨率。常见厂商扩展类型包括：

厂商	扩展MIME示例	特点
Qualcomm	video/avc + 私有能力元数据	支持HEVC 10bit、HDR10+
MediaTek	video/x-vnd.on2.vp9	VP9硬件解码，支持4K 60fps
Samsung	video/x-vnd.samsung.hvc1	HEVC编码时支持MV-HEVC（多视角）
华为（Kirin）	video/x-vnd.hisi.avc	高码率H.264编码，低功耗

选择厂商扩展编解码器时需注意：

• 兼容性风险：使用私有MIME的应用在非该厂商设备上可能崩溃，必须回退到标准MediaCodecList。
• Feature检测：通过MediaCodecInfo.getCapabilitiesForType()获取MediaCodecInfo.CodecCapabilities，检查profileLevels和colorFormats是否满足需求。
• 稳定性：部分厂商硬件编码器在极端分辨率（如1080p以上）或帧率下存在驱动bug，建议先在目标设备上做压力测试。

2.3 软硬编码对比与选型策略

Android提供纯软件实现的Codec（如OMX.google.h264.encoder）与硬件加速Codec（OMX.qcom.video.encoder.avc）。下表从关键维度对比两者：

维度	硬件编码（HW）	软件编码（SW）
编码延迟	低（通常<10ms）	高（CPU负载决定，可能>50ms）
功耗	极低（专用DSP电路）	高（大量CPU运算）
支持分辨率	受限于硬件设计，可能出现不支持超高清的情况	无上限（受CPU算力制约）
质量控制	固定算法，码率控制较粗糙	灵活，可精细调节CRF、多参考帧等参数
兼容性	依赖厂商驱动，不同设备表现不一致	全设备一致（Google官方实现）
并发	通常单一实例，部分支持双路	可多路并行（受CPU核心数限制）

选型策略：

1. 实时通信场景（视频通话、直播推流）优先选择硬件编码，以降低延迟和功耗。
2. 高质量离线转码、压缩归档等场景可选用软件编码，获得更好的率失真性能。
3. 混合方案：先尝试硬件编码，若在运行时出现持续丢帧或ERROR_INSUFFICIENT_RESOURCE，则降级为软件编码。

降级实现的伪代码逻辑：

// 尝试硬件编码器
String hwEncoderName = findHardwareEncoder(mimeType);
if (hwEncoderName != null) {
    try {
        MediaCodec hwCodec = MediaCodec.createByCodecName(hwEncoderName);
        // 配置并启动
    } catch (MediaCodec.CodecException e) {
        // 硬件编码器不可用或配置失败
        MediaCodec swCodec = MediaCodec.createEncoderByType(mimeType); // 使用软件回退
    }
} else {
    MediaCodec swCodec = MediaCodec.createEncoderByType(mimeType);
}

2.4 常见错误与调试方法

错误现象	可能原因	解决方案
创建Codec时抛出CodecException（ERROR_INVALID_OPERATION）	MIME类型不合法或大小写错误	打印所有支持的MIME类型，使用标准MediaFormat.MIMETYPE_*常量
硬件编码器输出花屏/绿屏	ColorFormat协商失败或分辨率超出硬件限制	通过getCapabilitiesForType()获取支持的colorFormats，选择通用COLOR_FormatYUV420SemiPlanar
功耗异常高（CPU占用>80%）	实际使用软件编码（因硬件编码器名称获取错误）	在日志中输出codec.getName()确认是否包含OMX.google前缀，或检查isHardwareAccelerated()返回值
厂商扩展编码器在特定设备上崩溃	驱动适配问题或固件版本过旧	捕获CodecException后立即回退到软件编码；在发布前覆盖主流设备（如骁龙、天玑、麒麟）做兼容性测试

使用以下日志标签可快速定位Codec问题：

adb logcat -s MediaCodec:V MediaCodecList:D OMX:V