3、服务画像数据采集：日志、指标、追踪三大支柱的数据采集策略与工具选型

服务画像的构建依赖于可观测性三大支柱——日志（Logs）、指标（Metrics）、追踪（Traces）——的高质量数据采集。数据采集策略决定了画像的准确性与时效性，工具选型则直接影响采集成本与运维复杂度。本节将系统阐述三大支柱的采集原则、策略对比及主流工具选型方案。

3.1 三大支柱数据采集策略

不同数据类型在采集频率、存储周期、采样策略上存在显著差异。下表总结了三大支柱的核心采集策略对比：

3.2 日志采集策略与工具选型

日志是服务画像中最细粒度的数据源，包含请求参数、错误堆栈、业务事件等关键信息。采集策略需平衡完整性与性能开销。

3.2.1 日志采集核心策略

• 结构化日志强制：所有服务必须输出JSON格式日志，包含timestamp、level、service、trace_id、span_id、message等标准字段。
• 动态级别控制：生产环境默认INFO级别，通过配置中心动态调整特定服务的DEBUG级别用于故障排查。
• 日志分片与轮转：按时间（每小时）和大小（256MB）双维度分片，避免单文件过大影响采集性能。
• 异常日志实时告警：ERROR级别日志触发实时告警通道，直接关联Quality Gate的误差预算消耗。

3.2.2 日志采集工具对比

3.3 指标采集策略与工具选型

指标数据是服务画像中用于量化评估的核心数据，直接参与Quality Gate的误差预算计算。采集策略需关注基数控制与聚合精度。

3.3.1 指标采集核心策略

• RED方法论：每个服务必须暴露Rate（请求速率）、Errors（错误率）、Duration（延迟分布）三类黄金指标。
• 标签白名单：限制每个指标的标签数量不超过10个，避免高基数标签（如user_id、request_id）导致存储膨胀。
• 聚合窗口：客户端侧按10秒窗口聚合后上报，服务端按1分钟窗口降采样存储。
• 直方图预分桶：延迟指标使用预定义分桶（如0.1s、0.5s、1s、2s、5s），避免百分位计算误差。

3.3.2 指标采集工具对比

3.4 追踪采集策略与工具选型

追踪数据提供请求在分布式系统中的完整调用链路，是服务画像中识别依赖关系和瓶颈的关键。采集策略需在数据完整性与采样开销之间取得平衡。

3.4.1 追踪采集核心策略

• 头部采样（Head-based）：在请求入口处决定是否采样，适用于低流量服务（<1000 req/s）。
• 尾部采样（Tail-based）：根据请求结果（如错误、高延迟）动态采样，适用于高流量服务，但需缓存完整链路。
• 概率采样：按固定比例（如1%、10%）采样，适用于流量稳定的服务。
• 采样优先级：错误链路100%采样，高延迟链路（>P99）50%采样，正常链路按概率采样。

3.4.2 追踪采集工具对比

3.5 三大支柱数据采集架构

下图展示了服务画像数据采集的整体架构，三大支柱数据通过统一的Agent层采集，经过路由与处理管道后，分别写入对应的存储后端，最终汇聚到画像计算引擎。

3.6 工具选型决策矩阵

在实际项目中，工具选型需综合考虑团队技术栈、规模、成本与运维能力。下表提供了基于不同场景的推荐选型方案：

3.7 数据采集质量保障

数据采集质量直接影响服务画像的准确性。以下是保障采集质量的三个关键措施：

• 采集健康监控：对每个采集Agent暴露内部指标（采集速率、错误率、延迟），纳入服务画像的元数据监控。
• 数据完整性校验：在采集管道中定期注入测试数据，验证从采集到存储的端到端链路是否完整。
• 采集误差预算：为数据采集本身设定误差预算（如采集丢失率 < 0.1%），当采集质量下降时触发告警，避免画像数据污染。