4. 环境准备:搭建Jenkins主从节点、配置GitLab仓库、安装Docker与Kubernetes环境

本章是《自动化Runbook联动CI/CD流水线配置》课程的基石环节。一个稳定、可扩展的底层环境是Runbook自动化与流水线高效运转的前提。我们将依次完成四个核心组件的部署与配置:Jenkins(调度中心)、GitLab(代码与制品仓库)、Docker(容器引擎)以及Kubernetes(容器编排平台)。

环境规划建议: 本课程采用 1 台 Master 节点(4C/8G/50G SSD)+ 2 台 Worker 节点(4C/8G/100G SSD)的拓扑。操作系统统一使用 Ubuntu 22.04 LTS,确保内核版本 ≥ 5.15。

4.1 整体环境架构

下图展示了本课程最终搭建的物理与逻辑环境拓扑。Jenkins Master 负责调度,Jenkins Agent 在 Kubernetes Pod 中动态运行;GitLab 作为代码仓库与镜像仓库;Docker 提供容器运行时。

环境准备整体架构图 环境准备整体架构图 Jenkins Master 调度中心 · 管理界面 GitLab 代码仓库 · 镜像仓库 Webhook / API Kubernetes 集群 K8s Master API Server · Scheduler Worker 1 Jenkins Agent Pod Worker 2 应用 Pod Kubernetes Plugin 镜像拉取 说明:Jenkins Agent 以 Pod 形式动态运行在 K8s Worker 节点上,实现弹性伸缩。

4.2 搭建Jenkins主从节点

4.2.1 安装Jenkins Master

Jenkins Master 是整个 CI/CD 流程的大脑。我们采用官方推荐的 apt 方式安装长期支持版(LTS)。

# 1. 添加 Jenkins 官方 GPG 密钥与软件源
curl -fsSL https://pkg.jenkins.io/debian-stable/jenkins.io-2023.key | sudo tee \
  /usr/share/keyrings/jenkins-keyring.asc > /dev/null
echo deb [signed-by=/usr/share/keyrings/jenkins-keyring.asc] \
  https://pkg.jenkins.io/debian-stable binary/ | sudo tee \
  /etc/apt/sources.list.d/jenkins.list > /dev/null

# 2. 安装 OpenJDK 17(Jenkins 2.440+ 依赖)
sudo apt update
sudo apt install -y fontconfig openjdk-17-jre

# 3. 安装 Jenkins
sudo apt install -y jenkins

# 4. 启动并设置开机自启
sudo systemctl enable --now jenkins

# 5. 获取初始管理员密码
sudo cat /var/lib/jenkins/secrets/initialAdminPassword
关键配置: 安装完成后,通过 http://<Master_IP>:8080 访问。建议立即安装 Kubernetes Plugin、GitLab Plugin、Docker Pipeline 和 Blue Ocean 插件。

4.2.2 配置Jenkins Agent(从节点)

传统 Jenkins 使用静态 Agent 节点,但在云原生场景下,我们更推荐使用 Kubernetes Plugin 实现动态 Agent。Agent 以 Pod 形式运行,任务完成后自动销毁,极大节省资源。

对比维度 静态 Agent(SSH方式) 动态 Agent(Kubernetes方式)
资源利用率 低,长期占用 高,按需分配
扩展性 手动添加节点 自动弹性伸缩
环境一致性 依赖节点配置 容器镜像保证一致
维护成本 高,需管理多台机器 低,只需维护镜像

在 Jenkins 中配置 Kubernetes 云的步骤如下:

  1. 进入 Manage Jenkins → Clouds → New Cloud,选择 Kubernetes。
  2. 填写 Kubernetes 集群 API Server 地址(如 https://192.168.1.10:6443)。
  3. 上传集群的 ca.crt 与服务账户 (需提前创建 jenkins-agent ServiceAccount 并绑定 cluster-admin 角色)。
  4. 设置 Pod 模板:指定镜像 jenkins/inbound-agent:latest-jdk17,添加 docker 与 kubectl 工具挂载。

4.3 配置GitLab仓库

4.3.1 部署GitLab

GitLab 同时承担 代码仓库 和 容器镜像仓库 的双重角色。使用 Docker Compose 快速部署:

# docker-compose.yml
version: '3.8'
services:
  gitlab:
    image: gitlab/gitlab-ce:16.10.0-ce.0
    container_name: gitlab
    restart: always
    hostname: 'gitlab.example.com'
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        external_url 'http://gitlab.example.com'
        gitlab_rails['gitlab_shell_ssh_port'] = 2222
        registry_external_url 'http://gitlab.example.com:5050'
    ports:
      - '80:80'
      - '443:443'
      - '2222:22'
      - '5050:5050'
    volumes:
      - './config:/etc/gitlab'
      - './logs:/var/log/gitlab'
      - './data:/var/opt/gitlab'
    networks:
      - cicd-net

networks:
  cicd-net:
    driver: bridge
注意: 部署完成后,首次访问需设置 root 密码。建议创建专用项目群组(Group)和机器人 ,用于 Jenkins 与 GitLab 之间的 API 通信。

4.3.2 配置Webhook与Access

为了实现代码推送自动触发流水线,需要在 GitLab 项目中配置 Webhook:

  1. 进入项目 → Settings → Webhooks。
  2. URL 填写 Jenkins 的 Generic Webhook Trigger 地址:http://<Jenkins_Master_IP>:8080/generic-webhook-trigger/invoke。
  3. 勾选 Push events 和 Merge request events。
  4. 在 Jenkins 中安装 Generic Webhook Trigger Plugin,并配置对应的 变量。

4.4 安装Docker与Kubernetes环境

4.4.1 Docker安装与配置

Docker 是容器化基础。在所有节点(Master + Worker)上执行:

# 1. 卸载旧版本
sudo apt remove docker docker-engine docker.io containerd runc

# 2. 安装依赖
sudo apt update
sudo apt install -y ca-certificates curl gnupg lsb-release

# 3. 添加 Docker 官方 GPG 密钥
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

# 4. 设置稳定版仓库
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# 5. 安装 Docker Engine
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

# 6. 将 Jenkins 用户加入 docker 组(避免权限问题)
sudo usermod -aG docker jenkins

# 7. 验证
sudo docker run hello-world

4.4.2 部署Kubernetes集群(kubeadm方式)

我们使用 kubeadm 搭建生产级 K8s 集群。以下步骤在 Master 节点执行:

# 1. 安装 kubeadm、kubelet、kubectl
sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.29/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.29/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt update
sudo apt install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

# 2. 初始化 Master 节点
sudo kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.1.10

# 3. 配置 kubectl
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 4. 安装 Flannel 网络插件
kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml

# 5. 获取 Worker 节点加入命令
kubeadm  create --print-join-command

在 Worker 节点上执行上一步输出的 kubeadm join 命令即可加入集群。

验证集群: 在 Master 节点执行 kubectl get nodes,应看到所有节点状态为 Ready。执行 kubectl get pods -n kube-system 确认核心组件运行正常。

4.5 环境验证清单

完成所有安装后,请逐项核对以下清单,确保环境就绪:

序号 验证项 验证命令/方法 预期结果
1 Jenkins Master 可访问 浏览器访问 http://<IP>:8080 显示 Jenkins 登录页
2 Jenkins Agent 动态注册 创建 Pipeline 任务,指定 Kubernetes Pod 模板 Pod 自动创建并执行任务
3 GitLab 仓库可推送 git push origin main 推送成功,Webhook 触发
4 Docker 运行正常 docker run --rm alpine echo hello 输出 "hello"
5 K8s 集群节点 Ready kubectl get nodes 所有节点状态为 Ready
6 K8s 与 Jenkins 集成 Jenkins 中配置 Kubernetes Cloud 并测试连接 显示 "Connection successful"