📚 课程目录第4章 DPDK开发环境搭建

4. DPDK开发环境搭建：Ubuntu系统准备、DPDK源码编译、IGB_UIO/vfio-pci驱动绑定、大页内存配置

本章是DPDK实战课程的基础环节。在5G UPF数据面加速场景中，DPDK运行环境的稳定性与配置正确性直接决定后续转发性能。我们将从Ubuntu系统准备开始，逐步完成DPDK源码编译、内核驱动绑定以及大页内存配置，最终得到一个可用于UPF原型验证的DPDK运行环境。

环境版本说明：本课程基于 Ubuntu 22.04 LTS + DPDK 22.11 LTS + Linux Kernel 5.15 进行验证。不同版本间的命令与路径可能存在细微差异，请以实际环境为准。

4.1 Ubuntu系统准备与依赖安装

DPDK对系统有明确的依赖要求，主要包括：Linux内核版本、编译器、内核头文件、以及构建工具链。以下步骤在最小化安装的Ubuntu 22.04上验证通过。

4.1.1 系统更新与基础工具

sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential linux-headers-$(uname -r) \
    git meson ninja-build pkg-config libnuma-dev \
    python3-pyelftools python3-pip libssl-dev

软件包	用途
build-essential	提供 gcc、g++、make 等编译工具
linux-headers-$(uname -r)	当前内核的头文件，用于编译内核模块（如 igb_uio）
meson / ninja-build	DPDK 22.11 推荐的构建系统
libnuma-dev	NUMA 支持库，多Socket场景下必须
python3-pyelftools	用于解析 ELF 文件，DPDK 构建依赖

4.1.2 确认CPU支持硬件虚拟化

DPDK使用vfio-pci驱动时需要CPU支持IOMMU（Intel VT-d / AMD-Vi）。检查方法：

# 检查CPU标志位
grep -E "svm|vmx" /proc/cpuinfo

# 检查BIOS中VT-d是否开启
dmesg | grep -i "iommu"

常见问题：如果虚拟机环境未开启嵌套虚拟化或IOMMU，将无法使用vfio-pci驱动。此时可退而使用igb_uio驱动，但性能与隔离性会有所下降。

4.2 DPDK源码编译

DPDK 22.11 LTS是长期支持版本，适合生产级UPF开发。我们采用Meson + Ninja编译方式，相比旧版makefile系统更简洁、更易定制。

4.2.1 获取源码

cd /opt
sudo git clone https://github.com/DPDK/dpdk.git -b v22.11
cd dpdk

4.2.2 配置与编译

meson setup build
cd build
ninja
sudo ninja install
sudo ldconfig

编译完成后，关键文件路径如下：

文件/目录	路径
DPDK库文件	/usr/local/lib/x86_64-linux-gnu/
DPDK头文件	/usr/local/include/dpdk/
编译示例应用	/opt/dpdk/build/examples/
驱动模块源码	/opt/dpdk/kernel/linux/

  性能提示：对于UPF场景，建议在meson配置阶段加入 -Dc_args='-O3' -Denable_kmods=true 以启用内核模块编译和最高优化等级。

4.3 IGB_UIO / vfio-pci 驱动绑定

DPDK需要将网卡从内核驱动接管到用户态驱动。两种主流方案对比如下：

特性	igb_uio	vfio-pci
依赖	仅需加载igb_uio内核模块	需开启IOMMU并加载vfio-pci模块
安全性	较低，无DMA隔离	高，支持IOMMU DMA隔离
性能	良好	优秀，支持更多高级特性
适用场景	开发测试、无VT-d环境	生产环境、UPF部署

4.3.1 编译并加载igb_uio驱动

cd /opt/dpdk/kernel/linux/igb_uio
make
sudo modprobe uio
sudo insmod igb_uio.ko

4.3.2 加载vfio-pci驱动（推荐生产环境）

# 开启IOMMU（需修改grub并重启）
sudo sed -i 's/GRUB_CMDLINE_LINUX=""/GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt"/' /etc/default/grub
sudo update-grub

# 加载vfio-pci模块
sudo modprobe vfio-pci

4.3.3 使用dpdk-devbind.py绑定网卡

# 查看当前网卡状态
dpdk-devbind.py --status

# 绑定网卡（以ens3f0为例，PCI地址为 0000:02:00.0）
sudo dpdk-devbind.py -b vfio-pci 0000:02:00.0

# 验证绑定结果
dpdk-devbind.py --status

绑定后注意：网卡将不再出现在 ip link 列表中，DPDK应用可直接通过PCI地址访问该网卡。如需恢复，执行 sudo dpdk-devbind.py -b ixgbe 0000:02:00.0。

4.4 大页内存配置

大页内存是DPDK性能的核心保障。它减少了TLB miss，显著提升报文处理时的内存访问效率。UPF场景下，建议配置2MB或1GB大页。

4.4.1 配置2MB大页

# 临时配置（重启后失效）
echo 4096 | sudo tee /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

# 永久配置
echo "vm.nr_hugepages=4096" | sudo tee -a /etc/sysctl.conf
sudo sysctl -p

4.4.2 配置1GB大页（需CPU支持）

# 检查CPU是否支持1GB大页
grep pdpe1gb /proc/cpuinfo

# 内核启动参数添加（需修改grub）
GRUB_CMDLINE_LINUX="default_hugepagesz=1G hugepagesz=1G hugepages=4"

# 挂载大页文件系统
sudo mkdir -p /mnt/huge
sudo mount -t hugetlbfs pagesize=1GB /mnt/huge
echo "hugetlbfs /mnt/huge hugetlbfs pagesize=1GB 0 0" | sudo tee -a /etc/fstab

4.4.3 验证大页配置

# 查看大页使用情况
cat /proc/meminfo | grep Huge

# 预期输出示例
HugePages_Total:    4096
HugePages_Free:     4096
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

内存规划建议：UPF数据面通常需要2~4个CPU核心、每核心预留1~2GB大页内存。对于10Gbps线速转发，建议至少配置4GB大页。切勿将所有内存都分配给大页，需为操作系统保留2~4GB。

4.5 环境验证：运行helloworld示例

完成上述配置后，通过DPDK自带的helloworld示例验证环境是否正常：

cd /opt/dpdk/build/examples
sudo ./dpdk-helloworld -l 0-1 -n 2

# 预期输出
EAL: Detected 8 lcore(s)
EAL: Detected 1 NUMA nodes
EAL: Multi-process support
hello from core 0
hello from core 1

如果看到每个核心打印"hello from core X"，说明DPDK环境搭建成功，EAL层初始化正常，大页内存分配正确。

4.6 本章小结：环境搭建全景图

以下SVG图展示了从系统准备到DPDK应用运行的整体流程与组件关系：

至此，DPDK开发环境已完整搭建。在下一阶段，我们将基于此环境实现UPF数据面的核心转发逻辑。