VIP20

本课程属于：055-AI　ISP混合架构开发 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI降噪算法在ISP中的部署

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

ISP Pipeline概述与AI降噪的切入点

介绍传统ISP流水线（Bayer域 · RGB域 · YUV域）以及AI降噪通常插入的位置…

AI降噪模型选型原则

轻量化网络（如UNet · FFDNet · CBDNet）在ISP场景下的选型考…

AI降噪模型选型原则

训练数据准备与合成

真实噪声建模（Gaussian-Po… · RAW域噪声标定 · 合成数据对的生成流程

训练数据准备合成

模型训练与量化感知训练（QAT）

PyTorch/TensorFlow… · FP32转INT8的量化方法 · QAT在降噪模型中的应用

QAT模型训练

ONNX模型导出与优化

PyTorch模型转ONNX · ONNX Simplifier优化 · 动态/静态Batch处理

ONNX模型导出

TensorRT部署与加速

TensorRT引擎构建（FP16/… · 动态shape处理 · 多Stream并发推理

OpenCV与V4L2视频流接入

从摄像头读取RAW帧 · Bayer格式解析 · 送入AI模型前的预处理

ISP集成中的内存管理

DMA Buffer共享 · Zero-Copy技术 · 避免CPU-GPU间数据搬运

多线程Pipeline设计

生产者-消费者模型 · 线程同步（互斥锁 · 条件变量）

Pipeline多线程

端侧部署（Qualcomm SNPE/Hexagon）

SNPE DLC模型转换 · Hexagon DSP加速 · Adreno GPU Fallbac…

QualcommSNPE/Hexagon

端侧部署（MediaTek NeuroPilot）

NeuroPilot API调用 · APU/NPU调度 · 异构计算

MediaTekNeuroPilot

端侧部署（Apple Core ML）

Core ML模型转换 · ANE（Apple Neural E… · Metal Shader集成

端侧部署（ARM NN）

ARM CPU/GPU/Mali N… · CMSIS-NN内核加速

RK3588 NPU部署实战

RKNN模型转换 · RKNN Toolkit使用 · NPU与CPU协同工作

AI降噪与3A（AE/AWB/AF）联动

降噪强度随ISO自适应调节 · 亮度统计信息反馈

时域滤波与AI降噪结合

多帧融合（MFSR）与单帧AI降噪的… · 运动补偿策略

AI降噪在视频模式下的挑战

时序一致性（Flicker抑制） · 光流对齐 · 缓存管理

低光场景专项优化

长曝光与AI降噪的权衡 · 暗电流校正 · Hot Pixel修复

低光场景专项优化AI

HDR场景下的降噪策略

多帧HDR合成前的降噪 · 合成后的残留噪声处理

HDR场景下的降噪策略

AI降噪的硬件加速器设计

卷积加速器（Systolic Arr… · Winograd算法在FPGA上的实…

AI降噪的硬件加速器…

ISP中的AI降噪评测指标

PSNR/SSIM · 主观评测（MOS） · 噪声曲线（ISO vs Noise）

Runtime Profiling与性能调优

NVIDIA Nsight/Qual… · 算子耗时分析

RuntimeProfiling

模型剪枝与蒸馏

结构化剪枝（Channel Prun… · 知识蒸馏（Teacher-Stude…

模型剪枝蒸馏

混合精度推理

FP16/BF16推理优势 · AMP（Automatic Mixe…

混合精度推理FP16/BF16

AI降噪在车载ISP中的应用

功能安全（ISO 26262）考量 · ASIL-B/C要求 · 冗余设计

AI降噪在安防监控中的应用

超低光（0.001 Lux）场景 · WDR（宽动态）融合 · 智能编码联动

AI降噪在手机摄影中的应用

计算摄影管线 · 夜景模式 · 人像模式中的降噪

AI降噪在医疗内窥镜中的应用

低剂量X光降噪 · 实时性要求（30fps） · 色彩保真度

AI降噪在无人机航拍中的应用

高动态运动场景 · 抗振动算法 · 图传带宽优化

未来趋势与前沿技术

NeRF与AI降噪结合 · 事件相机（Event Camera）… · On-Device Learning

未来趋势前沿技术