VIP20

本课程属于：024-AI　ISP混合架构 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

RAW域AI　ISP从算法到硬件落地

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是RAW域？为什么要在RAW域做…

课程导论RAW

RAW图像基础

Bayer阵列模式 · CFA(Color Filter A… · RAW数据的位宽与存储格式

RAW图像基础

传感器噪声模型

光子散粒噪声 · 读出噪声 · 固定模式噪声(FPN)

传感器噪声模型光子散粒噪声

AI ISP数据准备

RAW数据集的采集 · 标注与合成方法 · 以及数据增强策略

AI去马赛克(Demosaicing)

传统插值算法回顾 · 基于CNN的Demosaicing网… · 边缘导向的损失函数

AI去噪(Denoising)

空域去噪与时域去噪的结合 · U-Net与Transformer在… · 噪声水平估计

AI白平衡(AWB)

传统灰度世界与完美反射法 · 基于深度学习的色温估计网络 · 混合AWB策略

AI自动曝光(AE)与自动对焦(AF)

基于强化学习的AE控制 · 深度学习的对焦区域检测

AI色调映射(Tone Mapping)

RAW域的高动态范围(HDR)重建 · 局部色调映射网络 · 避免伪影的技巧

AI色彩校正(CCM)

从RAW到sRGB的色彩空间转换 · 可学习的色彩校正矩阵 · 色彩恒常性保持

AI锐化(Sharpening)与超分辨率(SR)

反卷积与亚像素卷积 · 基于GAN的RAW域超分 · 纹理与边缘的权衡

AI Lens Shading Correction

镜头阴影成因 · 基于多项式拟合与CNN的校正方法

AI坏点校正(DPC)

静态坏点检测与动态坏点补偿 · 基于邻域统计的AI预测

AI ISP Pipeline集成

端到端模型设计 · 多任务学习架构 · 梯度冲突的解决方案

模型轻量化(一)

知识蒸馏 · 通道剪枝 · 结构化剪枝在ISP网络中的应用

模型轻量化知识蒸馏

模型轻量化(二)

量化感知训练(QAT) · 混合精度量化 · INT8/INT4推理部署

模型轻量化QAT

模型轻量化(三)

神经架构搜索(NAS)在ISP中的应… · 硬件感知的自动设计

模型轻量化NAS

硬件加速基础

FPGA与ASIC的选型对比 · ISP Pipeline的硬件流水线…

硬件加速基础FPGA

卷积计算的硬件实现

Im2Col+GEMM · Winograd算法 · 脉动阵列(Systolic Arra…

卷积计算的硬件实…Im2Col+GEMM

激活函数与归一化的硬件实现

ReLU · Sigmoid · BatchNorm/LayerNor…

激活函数归一化的硬件实现

内存与带宽优化

Line Buffer设计 · DDR带宽估算 · Tile-based处理策略

内存带宽优化

数据流与控制流设计

任务级流水线 · 乒乓Buffer · DMA引擎设计

数据流控制流设计

RTL设计与仿真

SystemVerilog实现关键模… · 仿真验证环境的搭建 · 覆盖率收集

FPGA原型验证

开发板选型 · IP集成 · 上板调试与性能分析

FPGA原型验证

ASIC后端实现

综合( Synthesis) · 形式验证 · 时序收敛与物理设计

ASIC后端实现

功耗分析与优化

动态功耗 · 静态功耗 · 时钟门控与电源门控策略

功耗分析优化

AI ISP的调试与调优

PSNR/SSIM/LPIPS等客观… · 主观图像质量评估 · A/B Test

AI ISP的工程化落地

驱动开发 · HAL层适配 · Android Camera HAL…

事件相机与AI ISP的结合 · 神经辐射场(NeRF)在计算摄影中的…

课程总结与项目实战

从零搭建一个简单的RAW域AI IS… · 并部署到FPGA上

课程总结项目实战