1. 课程导入与IGX平台认知
NVIDIA IGX 是面向工业与医疗边缘场景的加固级计算平台，它并不是一块单纯的 GPU 板卡，而是一套把“算力硬件 + 工业级可靠性 + 云端同源软件栈”打包在一起的边缘 AI 参考架构。理解 IGX，关键要抓住三个词：边缘、加固、可运维。边缘意味着数据在现场产生、在现场推理，不必全部回传数据中心；加固意味着它要能承受宽温、振动、长期无人值守；可运维意味着设备一旦部署到产线或手术室，工程师不能每次都到现场插键盘，必须能远程完成部署、升级、诊断和回滚。本课程围绕“容器化部署”与“远程运维”两条主线展开，而这一节先建立平台全景认知。
IGX 的定位：从数据中心到现场机柜
传统 AI 训练与推理多发生在数据中心，网络稳定、供电可靠、散热充足、运维人员随时可达。但工业质检、手术导航、自主移动机器人等场景恰恰相反：现场可能只有 24V 直流供电、粉尘与电磁干扰、空间狭小，且停机成本极高。IGX 的定位就是把这些“数据中心级”的 AI 能力下沉到这类环境。它强调功能安全与网络安全能力，支持实时操作系统与 AI 推理共存，使一台设备既能跑确定性控制，又能跑视觉大模型推理。
从课程视角看，IGX 的价值可以概括为一条链路：现场传感器产生数据 → IGX 本地推理 → 结果驱动执行机构 → 同时把状态与模型版本上报云端。容器化让这条链路上的软件可以像手机 App 一样被版本化管理；远程运维则让这条链路在无人现场也能被持续观测和修复。
硬件组成：算力、接口与加固
IGX 硬件通常以“计算模块 + 载板 + 扩展”的形态出现。计算模块内集成 GPU、CPU、内存与存储，是推理与控制的核心；载板提供工业接口，例如千兆/万兆以太网、CAN、串口、GPIO、USB 以及摄像头输入；扩展部分可接入 NVMe、AI 加速卡或安全模块。与消费级显卡不同，IGX 平台强调宽温工作、抗振、长期供货与安全启动。实际选型时，需要关注几个参数：GPU 算力（如是否满足多路视频流实时推理）、内存容量（决定能同时驻留几个模型）、功耗与散热方式（风冷或导冷）、以及接口数量是否匹配现场传感器。
例如，一个典型的机器视觉质检节点可能配置 1 路 GigE 工业相机、1 路编码器信号、1 路 PLC 通信，IGX 需要在 30W～60W 功耗范围内完成每秒 30 帧的缺陷检测。这类约束会直接影响后续容器镜像大小、推理批大小和模型精度选择。
软件栈概览：从驱动到容器
IGX 软件栈自下而上大致分为四层：最底层是加固版 Linux 与 NVIDIA 驱动、CUDA、TensorRT；其上是容器运行时与编排组件，例如 Docker、containerd、K3s；再往上是 NVIDIA 提供的 IGX 软件栈与参考工作流，包括安全启动、OTA 升级、设备管理代理；最上层是用户自己的 AI 应用容器。这里有一个重要认知：容器不是把应用“装起来”就结束，而是把驱动、运行时、模型、配置和版本一起纳入可复现的交付单元。
在 IGX 上，GPU 要能被容器使用，通常依赖 NVIDIA Container Toolkit，把宿主机的驱动与设备节点映射进容器。这样同一个推理容器既能在 IGX 上运行，也能在数据中心同架构服务器上运行，减少“现场能跑、机房不能跑”的差异。
容器化部署在边缘 AI 中的价值
为什么 IGX 强调容器化？因为在边缘现场，软件交付面临三个现实问题：环境差异、版本混乱、回滚困难。容器把应用及其依赖打包成不可变镜像，使“在实验室验证过的版本”可以原样部署到现场。对 IGX 而言，容器还带来 GPU 资源的标准化暴露：通过 NVIDIA Container Toolkit，容器内可以直接调用 CUDA 与 TensorRT，而不必在宿主机上手工配置复杂环境。
一个可参考的部署流程是：在开发机上构建镜像并打标签，例如 igx-vision:1.3.0；推送到镜像仓库；在现场 IGX 上通过 K3s 或 Docker 拉取并启动；启动后检查容器状态与 GPU 可见性。示例命令如下：
# 在 IGX 现场节点上验证 GPU 是否可被容器使用
docker run --rm --gpus all nvcr.io/nvidia/l4t-base:r35.4.1 nvidia-smi
# 启动质检推理容器（示例参数）
docker run -d --name igx-vision \
--gpus all \
--restart unless-stopped \
-p 8554:8554 \
-v /data/models:/models:ro \
igx-vision:1.3.0启动后，判断部署是否成功的依据不是“容器在运行”这一条，而是：容器状态为 Up、日志中模型加载完成、GPU 利用率随视频流输入上升、推理时延稳定在阈值内。如果 nvidia-smi 在容器内不可见，通常说明 NVIDIA Container Toolkit 未正确安装或运行时未配置，需要先解决这一层再谈应用。
远程运维在边缘场景中的价值
边缘设备一旦上产线，现场往往没有显示器、键盘，甚至没有稳定公网 IP。远程运维要解决的是“看不见、摸不着、进不去”的问题。IGX 场景下，远程运维通常包含四条能力：远程监控（GPU 利用率、温度、内存、推理时延）、远程配置（模型版本、阈值参数、相机曝光）、远程升级（OTA 下发新容器镜像并支持回滚）、远程诊断（日志抓取、容器重启、网络排查）。这四条能力共同构成一个闭环：监控发现问题，诊断定位原因，配置或升级修复，再通过监控确认恢复。