VIP20

本课程属于：024-AI　ISP混合架构 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI　ISP多帧融合与实时处理优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

传统ISP的瓶颈 · AI ISP的定义与优势 · 多帧融合技术的演进

多帧融合基础

多帧采集策略（短帧 · 长帧 · 中帧）

多帧融合基础多帧采集策略

深度学习去噪

CNN/UNet在RAW域去噪中的应… · 噪声模型与合成数据生成

深度学习去噪CNN/UNet

运动补偿与去鬼影

运动估计网络 · 基于注意力机制的去鬼影模块

运动补偿去鬼影

实时处理优化

模型量化（INT8/FP16） · TensorRT/NCNN部署 · 流水线并行设计

实时处理优化INT8/FP16

HDR多帧融合

多曝光融合网络 · 色调映射与细节保留

HDR多帧融合

超分辨率与多帧

多帧超分网络结构 · 亚像素对齐与重建

超分辨率多帧

低光照增强

暗光多帧融合策略 · 亮度提升与噪声抑制的平衡

低光照增强暗光多帧融合策略

NPU/DSP上的算子优化 · 内存带宽优化 · DMA传输设计

硬件加速NPU/DSP

PSNR/SSIM/LPIPS · 主观评测 · 实时性指标（FPS/功耗）

评估指标PSNR/SSIM/LP…

数据 pipeline

多帧数据集的构建 · 标注策略 · 数据增强

模型轻量化

知识蒸馏 · 通道剪枝 · 结构重参数化

模型轻量化知识蒸馏

端到端训练

多帧融合网络的Loss设计 · 梯度稳定性 · 训练技巧

端到端训练Loss

ISP Pipeline集成

AI模块与传统ISP模块的协同 · 参数传递

多帧融合中的挑战

大运动场景 · 闪烁光源 · 计算量爆炸

多帧融合挑战

传感器特性

Bayer/RGBW传感器 · HDR传感器 · 卷帘快门效应

传感器特性Bayer/RGBW

递归滤波 · 卡尔曼滤波在多帧中的应用

时域滤波递归滤波

注意力机制

通道注意力 · 空间注意力 · 时序注意力

注意力机制通道注意力

Transformer在ISP中的应用

SwinIR · Restormer架构解析

ONNX导出 · 精度校准 · 端侧推理引擎

模型部署ONNX

多帧融合的实时系统设计

双缓冲 · 异步处理 · 帧调度

多帧融合的实时系…双缓冲

多帧融合后的白平衡 · 色彩校正矩阵

色彩还原多帧融合后的白平…

在手机/安防/车载上的落地案例

边缘计算手机

OpenISP · MIRNet · BSRGAN等代码解读

开源框架OpenISP

多帧融合的物理限制

光子噪声 · 读出噪声 · ADC量化

多帧融合的物理限…光子噪声

AI ISP的未来

端侧大模型 · 神经渲染 · 语义引导融合

基于PyTorch的多帧去噪网络搭建

实战项目1PyTorch

多帧HDR融合的ONNX部署与优化

实战项目2HDR

在瑞芯微RK3588上部署多帧超分模…

实战项目3RK3588

从数据采集到手机端实时运行的完整IS…