Renderer 扩展与边界：自定义 Renderer 注册、渲染管线注入、音视频同步调优

1. 原理说明

ExoPlayer 的渲染管线由一组 Renderer 组成，每个 Renderer 负责处理一种媒体轨道的解码与输出（如音频、视频、字幕）。播放器内置 MediaCodecAudioRenderer、MediaCodecVideoRenderer 和 TextRenderer，但开发者常需注入自定义 Renderer 以支持专有解码器、自定义图像处理、外部字幕格式或低延迟渲染。

音视频同步（AV sync）依赖 MediaClock 接口，每个 Renderer 可以声明自己的时钟，播放器以主时钟（通常为音频时钟）驱动其他 Renderer。自定义 Renderer 若参与同步，需正确实现 getMediaClock() 并返回基于自身输出时间戳的时钟。

2. 渲染管线注入流程

下图展示了自定义 Renderer 在 ExoPlayer 渲染管线中的位置与注入路径：

3. 实现流程与代码示例

以下步骤展示如何注册一个自定义音频 Renderer（假设实现低延迟 PCM 输出）：

• 步骤1：创建 Renderer 类，继承 BaseRenderer 并指定 C.TRACK_TYPE_AUDIO
• 步骤2：实现 render(long positionUs, long elapsedRealtimeUs)，从 sourceBuffer 读取数据并送入自定义解码/输出
• 步骤3：实现 getMediaClock() 返回自定义时钟（可选，默认音视频同步）
• 步骤4：在 ExoPlayer.Builder 中通过 addRenderer() 注入，并确保 TrackSelector 能够匹配轨道

代码示例（自定义 Renderer 骨架）：

public class CustomAudioRenderer extends BaseRenderer {
    private static final String TAG = "CustomAudioRenderer";
    private MediaClock mediaClock;
    private DecoderInputBuffer inputBuffer;
    private OutputDelegate outputDelegate;

    public CustomAudioRenderer() {
        super(C.TRACK_TYPE_AUDIO);
        mediaClock = new MediaClock(false);
        inputBuffer = new DecoderInputBuffer(DecoderInputBuffer.BUFFER_REPLACEMENT_MODE_NORMAL);
    }

    @Override
    public String getName() {
        return "CustomAudioRenderer";
    }

    @Override
    public void render(long positionUs, long elapsedRealtimeUs) throws ExoPlaybackException {
        // 从上级SampleQueue读取数据
        sampleQueue.read(inputBuffer, Format.AUDIO);
        if (inputBuffer.isEndOfStream()) return;
        byte[] data = new byte[inputBuffer.data.limit()];
        inputBuffer.data.get(data);
        // 处理数据并输出到AudioTrack或自定义设备
        outputDelegate.write(data, inputBuffer.timeUs);
        // 更新同步时钟
        mediaClock.setPositionUs(inputBuffer.timeUs);
    }

    @Override
    public MediaClock getMediaClock() {
        // 若参与AV同步，返回时钟；否则返回null
        return mediaClock;
    }

    @Override
    public boolean isReady() {
        return sampleQueue != null && !sampleQueue.isLoading() && outputDelegate.isOutputReady();
    }

    @Override
    public boolean isEnded() {
        return sampleQueue != null && sampleQueue.isLoading() == false
                && outputDelegate.isOutputFlushed();
    }
}

注册到播放器：

ExoPlayer.Builder builder = new ExoPlayer.Builder(context);
builder.addRenderer(new CustomAudioRenderer()); // 插入到默认Renderer之前
ExoPlayer player = builder.build();

4. 音视频同步调优要点

调优关键指标：

• Drift 容忍度：ExoPlayer 默认允许 ±50ms 漂移，超过后自动跳帧；自定义 Renderer 应避免产生 > ±20ms 的连续偏差。
• 缓冲区大小：减少 SampleQueue 队列长度可降低延迟，但会增加渲染线程饥饿概率，建议 2~4 帧。

5. 常见错误与调试技巧