3、SLI数据采集方法：如何从Jenkins、GitLab CI、GitHub Actions等工具中采集原始SLI数据

SLI（Service Level Indicator）数据的质量直接决定后续性能调优与故障排查的准确性。原始SLI数据通常隐藏在CI/CD工具的构建日志、API响应、数据库记录和Webhook事件中。本章将系统讲解从Jenkins、GitLab CI、GitHub Actions三大主流平台采集原始SLI数据的方法论与具体实现。

3.1 采集架构总览

SLI数据采集采用“拉取+推送”混合模式：定时拉取历史构建数据，同时通过Webhook实时接收事件。采集层统一将原始数据转换为标准化的SLI事件模型，再写入时序数据库或消息队列。

3.2 Jenkins 数据采集

Jenkins 提供丰富的 REST API 和本地日志文件两种采集路径。推荐优先使用 API 采集结构化数据，日志文件作为补充和审计溯源。

3.2.1 通过 Jenkins REST API 采集

Jenkins 的 /job/{jobName}/{buildNumber}/api/json 端点返回构建的完整元数据，包括阶段耗时、结果、参数和触发原因。

# 获取构建详情（含各阶段耗时）
GET /job/my-service/42/api/json?tree=id,result,timestamp,duration,stages[id,startTime,duration,status]

# 获取流水线阶段日志（用于解析自定义SLI）
GET /job/my-service/42/pipeline-stage/{stageId}/log?start=0

3.2.2 日志文件旁路采集

当API不可用或需要采集更细粒度的控制台输出时，可直接读取Jenkins master节点的构建日志文件。

# 日志文件路径模板
$JENKINS_HOME/jobs/{jobName}/builds/{buildNumber}/log

# 使用fluentd采集示例
<source>
  @type tail
  path /var/jenkins_home/jobs/*/builds/*/log
  pos_file /var/log/fluentd/jenkins-build.log.pos
  tag jenkins.build.log
  format multiline
  format_firstline /^Started by/
</source>

3.3 GitLab CI 数据采集

GitLab CI 提供 GraphQL API 和 Webhook 两种主要采集方式。GraphQL 允许一次查询获取嵌套的流水线、作业和阶段数据，Webhook 则用于实时事件推送。

3.3.1 GraphQL API 批量拉取

# GraphQL 查询示例：获取项目最近10条流水线及其作业耗时
query {
  project(fullPath: "my-group/my-project") {
    pipelines(last: 10) {
      nodes {
        id
        status
        duration
        createdAt
        jobs {
          nodes {
            name
            status
            duration
            stage
          }
        }
      }
    }
  }
}

3.3.2 Webhook 实时推送

在 GitLab 项目设置中配置 Webhook，监听 Pipeline events 和 Job events。Webhook payload 包含完整的流水线状态和耗时信息。

# Webhook payload 关键字段（Pipeline Hook）
{
  "object_kind": "pipeline",
  "object_attributes": {
    "id": 12345,
    "status": "success",
    "duration": 342,
    "queued_duration": 12,
    "created_at": "2024-01-15T10:00:00Z",
    "finished_at": "2024-01-15T10:05:42Z"
  },
  "builds": [
    {
      "id": 67890,
      "stage": "test",
      "name": "unit-test",
      "status": "success",
      "duration": 85,
      "queued_duration": 3
    }
  ]
}

3.4 GitHub Actions 数据采集

GitHub Actions 通过 REST API 和 Webhook 提供工作流运行数据。由于 GitHub API 有严格的速率限制，采集策略需要精心设计。

3.4.1 REST API 分页拉取

# 获取工作流运行列表
GET /repos/{owner}/{repo}/actions/runs?per_page=100&page=1

# 获取单个运行的作业详情
GET /repos/{owner}/{repo}/actions/runs/{run_id}/jobs?per_page=50

3.4.2 Webhook 事件驱动采集

GitHub App 或组织级 Webhook 可以订阅 workflow_run 事件。相比API轮询，Webhook 延迟更低且不消耗API配额。

# Webhook payload 关键字段（workflow_run 事件）
{
  "action": "completed",
  "workflow_run": {
    "id": 1234567890,
    "name": "CI Pipeline",
    "head_branch": "main",
    "status": "completed",
    "conclusion": "success",
    "run_started_at": "2024-01-15T10:00:00Z",
    "updated_at": "2024-01-15T10:06:30Z",
    "run_duration_ms": 390000
  },
  "workflow": {
    "id": 98765,
    "name": "CI"
  }
}

3.5 多平台统一采集框架

为了降低多平台维护成本，建议构建统一的采集适配器。以下是一个轻量级采集框架的核心设计：

# 统一采集接口定义（Python伪代码）
class CICollector(ABC):
    @abstractmethod
    def fetch_pipeline(self, pipeline_id: str) -> PipelineSLI: ...
    
    @abstractmethod
    def fetch_recent_pipelines(self, since: datetime, limit: int) -> List[PipelineSLI]: ...
    
    @abstractmethod
    def register_webhook(self, endpoint: str, events: List[str]) -> str: ...

# 各平台实现
class JenkinsCollector(CICollector): ...
class GitLabCollector(CICollector): ...
class GitHubActionsCollector(CICollector): ...

# 标准化SLI模型
@dataclass
class PipelineSLI:
    platform: str           # jenkins / gitlab / github
    pipeline_id: str
    status: str
    total_duration_ms: int
    queue_duration_ms: int
    stages: List[StageSLI]
    trigger_type: str
    commit_sha: str
    collected_at: datetime

3.6 采集质量保障与避坑指南

通过上述方法，可以系统化地从Jenkins、GitLab CI、GitHub Actions中采集原始SLI数据。下一阶段将基于这些原始数据，进行SLI口径的标准化计算与阈值设定，为性能调优和故障排查奠定数据基础。