01
模型编译器概述
什么是模型编译器 · 为什么需要 · AI部署中的位置
基础概念
02
主流模型编译器生态全景
TVM · TensorRT · ONNX Runtime · OpenVINO · XLA · MLIR · Triton · CoreML · NCNN · TFLite
生态对比
03
TVM架构深度解析
Relay IR · AutoTVM · AutoScheduler · TIR · 代码生成后端
TVMIR
04
TensorRT核心机制
层融合 · 精度校准(INT8/FP16) · 动态形状 · 插件编写
TensorRT优化
05
ONNX Runtime实战
ONNX标准 · Execution Provider · 自定义算子 · 性能调优
ONNX部署
06
OpenVINO与Intel生态
模型优化器 · 推理引擎 · 异构执行 · 支持硬件范围
IntelOpenVINO
07
MLIR与多级IR
Dialect设计 · Pass Pipeline · 与LLVM关系 · AI编译器应用
MLIR编译
08
XLA与JIT编译
静态/动态形状 · HLO IR · AOT编译 · TF/PyTorch使用
XLAJIT
09
Triton语言与编译器
Triton DSL · 块编程 · 与CUDA关系 · 手写Kernel vs 编译器
TritonGPU
10
移动端编译器
NCNN · TFLite · CoreML · MNN 对比与选型
移动端轻量
11
模型编译器选型方法论
硬件平台 · 算子支持 · 性能指标 · 社区活跃度 · 部署复杂度
选型决策
12
硬件后端适配
GPU(NVIDIA/AMD) · CPU(x86/ARM) · NPU(寒武纪/地平线/昇腾) · FPGA
硬件适配
13
图优化技术
常量折叠 · 算子融合 · 死代码消除 · 数据布局转换 · 内存规划
优化图
14
量化编译技术
PTQ · QAT · 混合精度 · 校准数据集
量化INT8
15
内存优化策略
内存复用 · In-Place · 张量生命周期 · 交换与重计算
内存性能
16
动态形状支持
动态batch · 可变分辨率 · Padding策略 · Shape推导
动态形状
17
自定义算子注册
添加新算子 · Kernel实现 · 梯度注册
扩展算子
18
模型调试与Profiling
IR可视化 · 性能Profiling · 精度对比工具
调试Profile
19
多模型部署场景
Pipeline部署 · 模型服务化 · 边缘端与云端差异
部署场景
20
编译器与框架的集成
PyTorch(TorchScript/TorchDynamo) · TF SavedModel · JAX
集成框架
21
安全与合规
模型加密 · 混淆 · 许可证兼容性 · 数据隐私
安全合规
22
社区与商业支持
开源活跃度 · 商业版vs免费版 · 技术支持渠道
社区商业
23
未来趋势
统一IR · 端侧编译 · 可微分编译 · AI for Compiler
趋势前沿
24
实战案例1：ResNet50+TensorRT
部署与优化，层融合与INT8
实战TensorRT
25
实战案例2：BERT+ONNX Runtime INT8
量化部署与精度调优
实战BERT
26
实战案例3：YOLOv5+OpenVINO
异构推理与模型优化器
实战YOLO
27
实战案例4：LLaMA+TVM
大模型编译与部署
实战LLaMA
28
实战案例5：MobileNet+NCNN
移动端部署与加速
实战移动端
29
选型决策矩阵
构建自己的编译器选型评分表
决策矩阵
30
课程总结与资源推荐
学习路径 · 经典论文 · 开源项目 · 社区链接
总结资源