VIP20
本课程属于：078-Intel Xeon数据中心计算平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Intel Xeon AI推理服务器平台建设

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与平台建设总览
目标=Intel Xeon AI推理… · 建设目标 · 核心组成
课程导入平台建设总览
02
Intel Xeon可扩展处理器架构解析
目标=核心 · 缓存 · 内存通道
IntelXeon
03
AI推理工作负载特征分析
目标=模型类型 · 计算模式 · 内存访问
AI推理工作负载特征…
04
Intel Xeon平台AI推理加速技术选型
目标=AMX · AVX-512 VNNI · DL Boost
IntelXeon
05
服务器平台硬件规划
目标=CPU型号选型 · 内存容量与带宽计算 · 存储配置
服务器平台硬件规…CPU
06
Intel Xeon平台BIOS与固件调优
目标=超线程 · 电源策略 · 内存频率
IntelXeon
07
操作系统与驱动部署
目标=Linux发行版选择 · 内核参数 · Intel微码更新
操作系统驱动部署
08
AI推理软件栈搭建
目标=Intel oneAPI · OpenVINO · PyTorch/TensorFlow…
AI推理软件栈搭建
09
模型转换与优化工具链
目标=OpenVINO Model… · ONNX转换 · 量化感知训练与训练后量化流程
模型转换优化工具链
10
基于Intel Xeon的CPU推理性能基准测试
目标=MLPerf · Benchmark App · 自定义测试脚本与指标解读
IntelXeon
11
内存子系统优化
目标=NUMA绑定 · 大页内存 · 内存带宽调优与推理延迟降低方法
内存子系统优化NUMA
12
存储I/O优化
目标=NVMe SSD配置 · RAID选择 · 模型加载加速与数据预处理流水线
I/O存储
13
网络与分布式推理基础
目标=RDMA · RoCE · TCP优化与多节点推理通信模式
网络分布式推理基础
14
容器化与编排部署
目标=Docker · Kubernetes · Intel Device Plugi…
容器化编排部署
15
推理服务框架选型与部署
目标=TorchServe · Triton Inference S… · OpenVINO Model Ser…
推理服务框架选型部署
16
模型量化与压缩实战
目标=INT8量化 · 剪枝 · 知识蒸馏在Intel Xeon平台的…
模型量化压缩实战
17
批处理与动态批处理策略
目标=静态批 · 动态批 · 连续批处理对吞吐量和延迟的影响与调优
批处理动态批处理策略
18
多实例与并发推理优化
目标=CPU核心绑定 · 进程/线程模型 · MKL-DNN原语与并发请求处理
多实例并发推理优化
19
边缘与云端协同推理
目标=Intel Xeon在边缘服务… · 云原生环境中的部署模式与数据流设计
边缘云端协同推理
20
安全与可信推理
目标=Intel SGX · TDX · 加密模型加载与推理数据隐私保护方案
安全可信推理
21
监控与可观测性建设
目标=Prometheus · Grafana · Intel PCM
监控可观测性建设
22
故障排查与性能诊断
目标=常见瓶颈识别 · 日志分析 · perf工具
故障排查性能诊断
23
能效与散热管理
目标=功耗封顶 · 频率调节 · 液冷/风冷方案与PUE优化
能效散热管理
24
平台高可用与容灾设计
目标=冗余电源 · 网卡绑定 · 集群故障转移与推理服务降级策略
平台高可用容灾设计
25
成本优化与资源调度
目标=CPU超分 · 混合部署 · 竞价实例与推理任务优先级管理
成本优化资源调度
26
典型NLP推理场景实战
目标=BERT · GPT类模型在Intel Xeon平… · 优化与性能对比
NLP典型
27
典型计算机视觉推理场景实战
目标=ResNet · YOLO · Stable Diffusion在X…
典型计算机视觉推…ResNet
28
推荐系统与实时推理
目标=DLRM · Wide & Deep模型在Inte…
推荐系统实时推理
29
平台建设综合项目
目标=从需求分析 · 硬件选型 · 软件栈搭建到性能调优的完整实施流程
平台建设综合项目目标=从需求分析
30
未来演进与生态展望
目标=Intel Xeon路线图 · AI推理技术趋势 · 新指令集与平台升级策略
未来演进生态展望