01
MobileViT背景与课程概览
什么是MobileViT · 为什么选择MobileViT · 课程目标与前置知识
背景入门
02
iOS原生框架概览
Core ML · Metal Performance Shaders · Vision框架简介
iOS原生
03
模型转换基础
PyTorch模型转ONNX · ONNX转Core ML (.mlmodel)
转换ONNX
04
Core ML模型封装
使用coremltools进行模型转换与配置 · 输入输出设置
coremltools封装
05
Xcode项目初始化
创建SwiftUI/UIKit项目 · 配置Info.plist与Capabilities
Xcode配置
06
集成Core ML模型
将.mlmodel文件导入Xcode · 自动生成的模型类
集成模型
07
图像预处理
使用CVPixelBuffer · CGImage与Vision框架进行图像缩放与归一化
预处理Vision
08
前向推理调用
同步与异步推理 · 处理模型输出
推理异步
09
结果后处理
Softmax · Argmax · 分类标签映射
后处理Softmax
10
性能基准测试
使用Xcode Instruments测量推理时间与内存占用
性能Instruments
11
Metal Shader基础
Metal Performance Shaders (MPS) 与自定义Shader
MetalShader
12
MPS图像处理
使用MPS进行图像预处理加速
MPS加速
13
MPS矩阵运算
利用MPSMatrixMultiplication加速全连接层
矩阵MPS
14
自定义Metal计算核
编写Metal Shader实现MobileViT中的关键算子
自定义算子
15
MPS与Core ML协同
混合使用MPS与Core ML进行推理加速
协同加速
16
Vision框架集成
使用VNCoreMLRequest进行图像分类
Vision分类
17
Vision与AVFoundation结合
实时摄像头视频流推理
实时摄像头
18
多模型串联
MobileViT特征提取 + 自定义分类器
串联特征
19
模型量化
使用coremltools进行FP16与INT8量化
量化FP16
20
模型剪枝与蒸馏
在iOS端部署轻量化模型
剪枝蒸馏
21
内存管理
自动释放池 · CVPixelBuffer复用 · 避免内存泄漏
内存优化
22
多线程推理
使用DispatchQueue与OperationQueue管理推理任务
多线程并发
23
GPU与ANE加速
利用Apple Neural Engine (ANE) 进行推理
ANEGPU
24
错误处理与日志
NSError处理 · os_log统一日志
错误日志
25
单元测试与UI测试
XCTest测试推理结果正确性
测试XCTest
26
Swift Package Manager集成
将推理引擎封装为SPM库
SPM封装
27
CocoaPods与Carthage集成
第三方依赖管理
CocoaPodsCarthage
28
持续集成与自动化
GitHub Actions + Xcode Cloud自动化构建与测试
CI自动化
29
App Store上架注意事项
隐私政策 · 性能声明 · 审核指南
上架审核
30
综合实战
从零构建一个完整的MobileViT图像分类App
实战完整项目