VIP20
本课程属于：008-OpenTelemetry管线接入 DevOps、SRE 与可观测性工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

平台工程自助目录Collector管道参数配置与调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Collector管道概述
平台工程自助目录中Collector… · 管道架构 · 数据流与生命周期
Collector管道概述
02
Collector管道核心组件
Source · Processor · Sink的定义与职责
Collector管道核心组件
03
管道参数基础
参数分类（必选/可选/高级） · 参数作用域（全局/组件级/任务级） · 参数优先级规则
管道参数基础参数分类
04
Source参数配置（上）
数据源类型（API/DB/File/… · 连接参数 · 认证方式
Source参数配置
05
Source参数配置（下）
数据拉取频率 · 增量/全量模式 · 分页策略
Source参数配置
06
Processor参数配置（上）
数据清洗规则 · 字段映射 · 类型转换
Processor参数配置
07
Processor参数配置（下）
数据过滤条件 · 聚合计算 · 数据增强
Processor参数配置
08
Sink参数配置（上）
目标存储类型（DB/对象存储/消息队… · 写入模式（insert/upsert…
Sink参数配置
09
Sink参数配置（下）
批量写入大小 · 并发写入数 · 写入失败处理策略
Sink参数配置
10
管道并发与并行度
线程池大小 · 任务并行度 · 分区数配置
管道并发并行度
11
管道内存管理
堆内存/堆外内存配置 · 缓冲区大小 · GC调优参数
管道内存管理堆内存
12
管道网络参数
连接池大小 · Socket超时 · 带宽限制
管道网络参数连接池大小
13
管道错误处理与重试
错误分类（可重试/不可重试） · 重试次数 · 退避策略
管道错误处理重试
14
管道监控与指标
内置指标（吞吐量/延迟/错误率） · 自定义指标上报 · Prometheus/Grafana…
管道监控指标
15
管道日志配置
日志级别 · 日志格式 · 日志轮转
管道日志配置日志级别
16
管道安全参数
数据加密（传输/存储） · 访问控制（RBAC/ACL） · 密钥管理
管道安全参数数据加密
17
管道参数模板化
参数模板定义 · 变量替换 · 环境差异化配置
管道参数模板化参数模板定义
18
管道参数校验与测试
参数合法性校验 · 单元测试管道 · 集成测试管道
管道参数校验测试
19
管道性能基准测试
基准测试方法论 · 关键性能指标（KPI） · 测试场景设计
管道性能基准测试基准测试方法论
20
管道参数调优方法论
瓶颈识别 · 参数调整优先级 · A/B测试策略
管道参数调优方法…瓶颈识别
21
Source端调优实战
高并发API拉取优化 · 大表DB分页优化 · 实时流延迟优化
Source端调优实战
22
Processor端调优实战
复杂数据转换性能优化 · 内存中聚合优化 · 自定义脚本执行效率提升
Processor端调优实战
23
Sink端调优实战
批量写入吞吐量优化 · 目标端反压处理 · 写入失败快速恢复
Sink端调优实战
24
管道资源隔离与限流
CPU/内存资源限制 · 速率限制 · 背压机制
管道资源隔离限流
25
管道高可用与容错
主备切换参数 · 检查点与状态恢复 · 故障转移策略
管道高可用容错
26
管道参数版本管理
参数变更历史 · 版本回滚 · 参数与管道版本绑定
管道参数版本管理参数变更历史
27
多租户管道参数管理
租户隔离参数 · 资源配额 · 租户级覆盖策略
多租户管道参数管…租户隔离参数
28
管道参数最佳实践（上）
常见反模式 · 参数命名规范 · 注释规范
管道参数最佳实践常见反模式
29
管道参数最佳实践（下）
生产环境参数基线 · 灰度发布参数策略 · 应急参数预案
管道参数最佳实践生产环境参数基线
30
综合案例
从零构建一个高吞吐低延迟的Colle… · 完整参数配置与调优过程复盘
综合案例Colle