VIP20
本课程属于：021-多模态感知算法 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

视觉语言模型在感知任务中高效部署

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
VLM基础与部署概述
什么是视觉语言模型 · VLM的典型架构（CLIP · BLIP
VLM部署概述
02
模型量化基础
量化原理（INT8/FP16） · 对称量化与非对称量化 · 量化误差分析
模型量化基础INT8/FP16
03
模型剪枝技术
结构化剪枝与非结构化剪枝 · 重要性评分方法（L1/L2范数 · 梯度）
模型剪枝技术结构化剪枝
04
知识蒸馏
教师-学生框架 · logit蒸馏与特征蒸馏 · VLM中的多模态蒸馏策略
知识蒸馏教师
05
模型转换与优化
ONNX导出与优化 · TensorRT部署流程 · OpenVINO适配
模型转换优化
06
推理引擎选型
vLLM · TGI · TensorRT-LLM
推理引擎选型vLLM
07
视觉编码器优化
ViT的加速技巧（FlashAtte… · 窗口注意力） · 视觉特征缓存策略
视觉编码器优化ViT
08
语言解码器优化
KV-Cache原理与优化 · 连续批处理（Continuous B… · 投机解码（Speculative D…
语言解码器优化KV-Cache
09
多模态融合优化
交叉注意力层优化 · 模态对齐加速 · 早期融合与晚期融合的部署权衡
多模态融合优化交叉注意力层优化
10
显存优化技术
梯度检查点 · 激活值压缩 · 模型分片（Model Shardin…
显存优化技术梯度检查点
11
服务化部署架构
RESTful API设计 · gRPC与WebSocket对比 · 请求队列与负载均衡
服务化部署架构RESTful
12
批处理策略
动态批处理（Dynamic Batc… · 窗口批处理 · 优先级调度
批处理策略Dynamic
13
硬件加速选型
NVIDIA GPU（A100/H1… · AMD ROCm · Apple Silicon
硬件加速选型NVIDIA
14
边缘端部署
模型轻量化（TinyViT · MobileCLIP） · NCNN与MNN框架适配
边缘端部署TinyViT
15
精度与性能权衡
FP16 vs INT8 vs IN… · 混合精度推理 · 量化感知训练（QAT）
精度性能权衡
16
缓存与预计算
视觉特征预计算与存储 · Prompt缓存策略 · 结果缓存（Redis/Memcach…
缓存预计算
17
流式输出与实时性
流式输出实现 · WebSocket实时通信 · 首延迟优化
流式输出实时性
18
安全与防护
模型安全（对抗攻击防御） · 输入过滤与净化 · 输出内容审核
安全防护
19
监控与可观测性
延迟监控（P50/P95/P99） · 吞吐量监控 · 显存与CPU使用率
监控可观测性
20
自动扩缩容
基于指标的HPA（Horizonta… · 预测性扩缩容 · 冷启动优化
自动扩缩容HPA
21
多模态RAG部署
视觉检索增强生成 · 图文向量数据库（Milvus/Qdr… · 多模态Embedding服务
RAG多模态
22
LoRA与PEFT部署
LoRA原理与合并 · 多LoRA切换服务 · PEFT模型的热加载
LoRAPEFT
23
模型版本管理
模型注册表（MLflow/DVC） · A/B测试部署 · 金丝雀发布
模型版本管理MLflow/DVC
24
性能基准测试
延迟测试方法论 · 吞吐量测试（恒定负载/阶梯负载） · 压力测试与稳定性测试
性能基准测试延迟测试方法论
25
成本优化
GPU实例选择策略 · Spot实例使用 · 预留实例与按需实例对比
成本优化GPU
26
多模态Agent部署
VLM驱动的Agent架构 · 工具调用与函数调用 · Agent状态管理
Agent多模态
27
视频理解模型部署
视频帧采样策略 · 时序建模优化（TSN/TSM） · 视频特征流式处理
视频理解模型部署视频帧采样策略
28
文档理解模型部署
OCR与VLM结合 · 文档布局分析加速 · 高分辨率文档处理
文档理解模型部署OCR
29
合规与伦理
数据隐私（差分隐私） · 模型偏见检测 · 可解释性部署（Grad-CAM/注意…
合规伦理
30
未来趋势与实战总结
VLM部署技术演进（Mamba架构 · 原生多模态） · 课程实战项目复盘
未来趋势实战总结