VIP20

本课程属于：054-AI　ISP混合架构相机系统图像处理实战 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

端侧AI　ISP推理性能优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是AI ISP · 传统ISP vs AI ISP · 端侧AI ISP的挑战与机遇

端侧推理硬件基础

NPU架构简介 · DSP与GPU的协同 · 内存带宽与计算瓶颈分析

端侧推理硬件基础NPU

模型轻量化技术

剪枝 · 量化（INT8/INT4） · 知识蒸馏在ISP中的应用

模型轻量化技术剪枝

算子优化策略

卷积算子加速（Winograd/Im… · 激活函数融合 · BN融合

算子优化策略Winograd/Im

内存管理与数据流优化

Tensor内存布局（NHWC/NC… · DMA传输优化 · Cache命中率提升

内存管理数据流优化

流水线并行设计

ISP Pipeline拆分 · 多核并行调度 · 异步推理与预处理重叠

流水线并行设计ISP

模型部署工具链

ONNX转TFLite · NCNN/MNN/TNN框架对比 · 端侧Runtime选型

模型部署工具链ONNX

精度与性能的权衡

PSNR/SSIM指标监控 · 量化校准数据集构建 · 混合精度推理策略

精度性能的权衡

典型ISP任务优化（上）

去噪模型优化 · 超分模型优化 · HDR融合加速

典型ISP任务优化（下）

自动白平衡 · 自动曝光 · 自动对焦的AI化加速

端侧AI ISP Benchmark

常用数据集（MIT-Adobe Fi… · 性能Profiling工具（Perf…

NPU汇编级优化

指令流水线 · 向量化编程 · 寄存器分配技巧

NPU汇编级优化

异构计算框架

OpenCL/Metal/Vulka… · Buffer共享与同步

异构计算框架OpenCL/Metal…

模型编译优化

TVM/MLIR在端侧的落地 · Auto-tuning与Schedu…

模型编译优化TVM/MLIR

动态形状处理

Resize/RoI Align的动… · Padding策略

动态形状处理Resize/RoI

低功耗设计

DVFS调优 · NPU idle状态管理 · 温控降频策略

低功耗设计DVFS

端侧ISP调试与验证

仿真器使用 · RTL仿真与硬件回片对比 · Golden Model比对

多帧融合优化

去噪与HDR的多帧对齐加速 · 时域滤波的缓存优化

多帧融合优化HDR

RAW域处理优化

Bayer格式处理 · Demosaic加速 · 黑电平校正优化

RAW域处理优化

色彩处理优化

CCM矩阵加速 · Gamma校正LUT优化 · 色彩空间转换SIMD化

色彩处理优化CCM

AI ISP的端到端延迟优化

从Sensor到Display的全链…

模型分块推理

Tiling策略 · Overlap计算 · 边界效应处理

模型分块推理Tiling

稀疏化推理

结构化稀疏 · 非结构化稀疏在NPU上的支持 · 稀疏矩阵存储格式

稀疏化推理结构化稀疏

Winograd卷积在端侧的落地

F(2x2 · 3x3)实现 · 内存占用优化

INT4量化实战

量化感知训练 · KL散度校准 · 端侧INT4 Kernel实现

INT4量化实战

AI ISP的OTA升级

模型热更新 · 版本兼容性 · 回滚机制

安全与隐私

模型加密 · TEE推理 · 输入数据脱敏

多摄像头AI ISP

双目/三摄同步 · 视差计算加速 · 融合算法优化

AI ISP在车载领域的应用

夜间增强 · 去雾加速 · ADAS感知融合

未来趋势与总结

端侧AI ISP的演进方向 · 个人经验分享与避坑指南