1. 课程导入与AI计算节点全景

在生成式AI与大规模模型训练快速演进的今天，企业AI基础设施的构建方式已经从"堆叠GPU服务器"转向"以计算节点为单元的系统工程"。Dell PowerEdge作为戴尔科技面向数据中心的核心服务器产品线，在AI基础设施中承担着"算力承载底座"的角色：它既可以是训练集群中的GPU计算节点，也可以是推理服务中的高密度推理节点，还可以作为数据预处理、向量化、模型微调等环节的通用计算节点。理解PowerEdge在AI基础设施中的定位，是后续进行节点选型、拓扑规划、散热与供电设计、集群集成的起点。

一、PowerEdge在AI基础设施中的定位

从系统层级看，AI基础设施通常分为四层：最底层是机房与供电制冷，其上是网络互联（IB/RoCE/以太网），再其上是计算与存储节点，最上层是AI平台与调度软件。PowerEdge处于第三层，是算力、内存、存储与网络接口的物理载体。不同型号的PowerEdge在AI场景中的分工差异明显：

• GPU训练节点：如PowerEdge XE9680、XE8640等，支持8路或4路高功耗GPU，面向大模型预训练与微调，强调GPU间高速互联（NVLink/NVSwitch）与高带宽网络。
• 推理节点：如R760xa、R750等，可配置多张推理加速卡，强调能效比、密度与低延迟网络。
• 通用计算/数据节点：如R760、R660等，承担数据预处理、特征工程、向量数据库、模型服务编排等任务。
• 存储与缓存节点：如PowerEdge R760xd2等，为训练数据提供高吞吐并行文件系统或本地NVMe缓存。

需要强调的是，PowerEdge并非孤立存在。它通过PCIe、NVLink、以太网或InfiniBand与其它节点连接，通过iDRAC实现带外管理，通过OpenManage与AI平台对接。规划AI计算节点时，必须同时考虑GPU型号与数量、CPU与内存配比、本地存储、网络接口、电源与散热能力，以及机柜空间与供电上限。

二、典型应用场景

PowerEdge AI计算节点的典型场景可以归纳为四类。第一类是大模型预训练：需要数百至数千张GPU通过高速网络组成集群，节点内GPU通过NVLink全互联，节点间通过InfiniBand或RoCEv2互联，对网络带宽、时延和集合通信效率要求极高。第二类是模型微调与对齐：规模通常在数十至数百张GPU，可使用LoRA、QLoRA等方法降低显存需求，节点配置更灵活。第三类是在线推理与生成式服务：强调低延迟、高并发和弹性扩缩容，常采用多实例GPU（MIG）或推理专用卡，配合负载均衡与自动扩缩。第四类是AI数据平台与向量检索：包括数据清洗、标注、向量化、向量数据库与RAG检索，通常由通用计算节点与存储节点协同完成。

三、课程目标与学习路径

本课程的目标是让学员能够独立完成Dell PowerEdge AI计算节点的规划与系统集成。具体包括：理解PowerEdge各系列在AI场景中的定位与选型依据；掌握GPU、CPU、内存、存储、网络、电源与散热的配置逻辑；能够根据模型规模与业务目标估算算力、显存与网络需求；能够设计节点内与节点间的拓扑结构；能够完成机柜布局、供电与制冷评估；能够使用iDRAC、OpenManage等工具完成部署与基础验证；能够识别常见集成问题并给出排查路径。

学习路径建议按"认知—选型—规划—集成—验证"推进：先建立AI基础设施全景认知，再深入节点硬件与参数关系，然后进入集群网络与存储规划，最后完成部署、测试与调优。每一章都会围绕一个可交付的规划或集成任务展开，最终形成一份完整的AI计算节点规划方案。

四、从场景到节点的规划思路

规划AI计算节点时，建议从模型规模反推硬件需求。以训练场景为例，假设要微调一个70B参数模型，采用LoRA方法，单卡显存需求约为模型权重的1.2至1.5倍（含优化器状态与激活值），若使用80GB显存的GPU，通常需要8至16张卡。此时节点选择应优先考虑GPU间互联带宽：若采用NVLink全互联，节点内通信效率显著优于PCIe；若跨节点训练，则需评估InfiniBand HDR/NDR或RoCEv2的带宽与交换机端口数。推理场景则相反，更关注单卡吞吐、并发请求数和首token延迟，可通过MIG将单卡切分为多个实例，提高资源利用率。

在参数配比上，CPU与GPU的搭配需避免瓶颈。经验上，每张GPU建议配置8至16个CPU核心、64至128GB内存，具体取决于数据加载与预处理强度。本地存储建议使用NVMe SSD作为缓存盘，容量至少能容纳一个epoch的数据集或模型检查点。网络方面，训练节点建议配置至少200Gb/s的节点间带宽，推理节点可适当降低至100Gb/s。电源与散热必须按整机满载功耗的1.2倍预留余量，并确认机柜供电与制冷能力。

五、本课程的学习成果

完成本课程后，学员应能输出一份包含以下内容的AI计算节点规划方案：场景与模型需求说明、节点型号与数量建议、GPU/CPU/内存/存储/网络配置表、节点内与节点间拓扑图、机柜布局与供电制冷评估、部署与验证步骤、常见问题排查清单。这些成果将直接服务于实际项目中的选型评审、采购清单编制与集成实施。

下一阶段的学习将从PowerEdge产品线开始，逐一拆解各型号在AI场景中的适用边界，帮助学员建立"场景—型号—参数"的对应关系。