VIP20

本课程属于：025-Edge AI Docker容器化推理 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Docker Compose部署多模型推理服务教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程前置要求

课程导入学习目标

Docker基础回顾

镜像 · 容器 · Dockerfile核心指令

Docker基础回顾

Docker Compose核心概念

服务 · 项目 · 编排

多模型推理服务场景分析

典型架构 · 多模型并行推理的需求 · 资源隔离与共享策略

多模型推理服务场…典型架构

模型推理服务容器化

将PyTorch/TensorFlo… · 编写Dockerfile最佳实践

模型推理服务容器…PyTorch/Tens…

多模型服务编排设计

使用Compose定义多个推理服务 · 依赖关系 · 端口映射

多模型服务编排设…Compose

模型文件与数据管理

挂载本地模型目录 · 使用命名卷 · 只读挂载

模型文件数据管理

网络配置与服务发现

Compose默认网络 · 自定义网络 · 服务别名

网络配置服务发现

资源限制与性能调优

CPU/内存限制 · GPU资源分配（nvidia-doc… · 并发与批处理优化

资源限制性能调优

日志与监控

集中日志收集 · Docker日志驱动 · Prometheus与Grafana…

健康检查与自动恢复

HEALTHCHECK指令 · Compose健康检查配置 · 重启策略

健康检查自动恢复

环境配置与多环境管理

使用.env文件 · Compose覆盖文件 · 开发/测试/生产环境配置分离

环境配置多环境管理

构建与镜像仓库

多阶段构建 · 镜像标签管理 · 推送至私有仓库

构建镜像仓库

实战案例一

部署两个基于PyTorch的图像分类…

实战案例一PyTorch

实战案例二

部署一个NLP模型（BERT）与一个…

实战案例二NLP

实战案例三

使用Compose部署模型推理服务与… · 消息队列（RabbitMQ）的完整流…

实战案例三Compose

实战案例四

多模型A/B测试与灰度发布

实战案例四A/B

GPU支持与CUDA环境

在Compose中配置GPU资源 · CUDA基础镜像选择 · 多GPU调度

最小权限原则 · 非root用户运行 · 镜像扫描

安全加固最小权限原则

性能压测与调优

使用wrk/locust对推理服务进… · 分析瓶颈 · 调整Compose资源分配

性能压测调优

常见问题排查

容器启动失败 · 端口冲突 · 模型加载慢

常见问题排查容器启动失败

日志与错误处理

查看容器日志 · 调试API · 使用docker exec进入容器

日志错误处理

Compose与Kubernetes对比

何时使用Compose · 何时使用K8s · 迁移路径与注意事项

ComposeKubernetes

扩展与伸缩

使用docker compose s… · 结合反向代理（Nginx）实现水平扩…

持续集成与持续部署

GitLab CI/CD或GitHu…

持续集成持续部署

模型热更新与版本回滚

利用Compose更新服务 · 滚动更新策略 · 回滚到旧版本

模型热更新版本回滚

多主机部署与Swarm模式

将Compose文件用于Docker… · 服务发现与负载均衡

Swarm多主机部署

构建一个包含三个不同框架（PyTor… · TensorFlow · ONNX Runtime）的推理平台

综合实战PyTor

课程总结与最佳实践

梳理关键知识点 · 常见陷阱 · 生产环境部署清单

课程总结最佳实践

项目实战与考核

独立完成一个多模型推理服务部署项目 · 提交Compose文件 · 文档与演示视频

项目实战考核