VIP20
本课程属于：054-AI　ISP混合架构相机系统图像处理实战 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

深度学习降噪在ISP中的部署

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与ISP基础
深度学习降噪在ISP中的位置 · 传统ISP Pipeline回顾 · 为什么需要深度学习降噪
ISP课程导论
02
噪声模型与数据集构建
传感器噪声来源（光子散粒噪声 · 读出噪声 · 固定模式噪声）
噪声模型数据集构建
03
经典降噪网络架构（一）
CNN基础（卷积 · 池化 · 激活函数）
经典降噪网络架构CNN
04
经典降噪网络架构（二）
U-Net架构详解 · 跳跃连接的意义 · 自注意力机制（Non-local/T…
经典降噪网络架构U-Net
05
模型训练与调优
损失函数选择（L1/L2/感知损失/… · 学习率调度策略 · 数据增强技巧
模型训练调优
06
模型量化基础
为什么需要量化 · 量化原理（对称/非对称 · 线性/非线性）
模型量化基础为什么需要量化
07
模型剪枝与蒸馏
结构化剪枝与非结构化剪枝 · 通道剪枝实战 · 知识蒸馏（教师-学生网络）
模型剪枝蒸馏
08
ONNX与模型转换
PyTorch模型导出为ONNX · ONNX算子兼容性检查 · ONNX简化与优化
ONNX模型转换
09
TensorRT部署（一）
TensorRT简介与安装 · 模型构建（Builder/Confi… · FP16/INT8精度配置
TensorRT部署
10
TensorRT部署（二）
Plugin自定义算子开发 · 降噪网络中特殊算子的Plugin实现 · 内存管理与显存优化
TensorRT部署
11
OpenVINO部署
OpenVINO工具套件介绍 · 模型优化器（MO）使用 · 推理引擎（IE）API
OpenVINO部署
12
TFLite与移动端部署
TFLite模型转换 · Delegate（GPU/NNAPI… · Android/iOS集成
TFLite移动端部署
13
ISP Pipeline集成（一）
RAW域与RGB域降噪的区别 · Bayer格式处理 · Demosaic与降噪的联合优化
ISPPipeline
14
ISP Pipeline集成（二）
降噪模块在ISP中的插入位置 · 与传统降噪算法的融合策略 · 多帧降噪与深度学习结合
ISPPipeline
15
硬件平台适配（一）
高通SNPE/DSP部署 · 联发科NeuroPilot · 苹果ANE（CoreML）
硬件平台适配SNPE/DSP
16
硬件平台适配（二）
FPGA部署（Xilinx DPU） · NPU架构适配要点 · 内存带宽与计算单元利用率
硬件平台适配FPGA
17
性能分析与优化
Profiling工具使用（NVID… · 算子耗时分析 · 内存带宽瓶颈定位
性能分析优化
18
精度与速度权衡
PSNR/SSIM与推理延迟的平衡 · 不同量化精度下的质量对比 · 模型大小与推理速度的trade-of…
精度速度权衡
19
多帧降噪与视频降噪
时域降噪原理 · 光流估计与对齐 · 3D卷积与ConvLSTM
多帧降噪视频降噪
20
真实场景挑战
低光环境降噪 · 高ISO噪声处理 · 运动模糊与噪声共存
真实场景挑战低光环境降噪
21
模型鲁棒性与泛化
域适应与域泛化 · 不同传感器间的迁移 · 对抗训练增强鲁棒性
模型鲁棒性泛化
22
调试与问题排查
模型输出异常（全黑/全白/伪影） · 量化后精度骤降 · 推理速度不达标
调试问题排查
23
自动化部署流水线
CI/CD集成 · 自动化测试框架 · 模型版本管理
自动化部署流水线CI/CD
24
安全与隐私
模型加密与混淆 · 输入数据隐私保护 · 对抗样本防御
安全隐私
25
前沿技术探索（一）
NeRF与降噪 · 扩散模型在降噪中的应用 · 事件相机与深度学习降噪
前沿技术探索NeRF
26
前沿技术探索（二）
Mamba架构在降噪中的尝试 · 状态空间模型 · 物理信息驱动降噪
前沿技术探索Mamba
27
项目实战（一）
从零搭建降噪模型 · 数据准备与预处理 · 训练与调优
项目实战从零搭建降噪模型
28
项目实战（二）
集成到ISP模拟器 · 端到端Pipeline测试 · 性能评估与对比
项目实战ISP
29
项目实战（三）
真实手机/相机平台部署 · 联调与Bug修复 · 最终交付与验收
项目实战真实手机
30
课程总结与展望
核心技术回顾 · 常见误区总结 · 学习路径推荐
课程总结核心技术回顾