VIP20
本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

日志采集常见坑与

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
日志采集概述
为什么需要日志采集？三大核心目标：可观测性、故障排查、安全审计。
可观测性故障排查安全审计
02
采集架构选型
Agent vs Agentless，推模式 vs 拉模式，架构优缺点深度对比。
Agent推拉模式架构
03
日志源识别
应用日志、系统日志、容器日志、网络设备日志，哪些必须采集？
应用日志系统日志容器日志
04
采集工具对比
Filebeat vs Fluentd vs Logstash vs Vector，选型依据与性能差异。
FilebeatFluentdLogstashVector
05
采集性能瓶颈
CPU、内存、磁盘IO、网络带宽，评估采集对业务的影响。
性能资源开销瓶颈分析
06
日志格式规范
结构化 vs 非结构化，JSON格式最佳实践与字段设计。
结构化JSON规范
07
时间戳处理
时区问题、时间格式不一致、毫秒级精度丢失的解决方案。
时区精度时间格式
08
多行日志合并
Java异常栈、SQL执行计划、多行JSON合并策略与配置。
多行合并异常栈正则
09
日志编码问题
UTF-8 vs GBK，乱码根源与跨平台编码解决方案。
编码乱码UTF-8
10
日志轮转与采集
Linux logrotate、Windows EventLog轮转，采集滞后与丢失处理。
轮转logrotate滞后
11
文件采集的坑
文件重命名、软链接、inode复用、文件截断等隐蔽陷阱。
inode软链接截断
12
容器日志采集
Docker json-file驱动、Kubernetes Pod日志、Sidecar模式实践。
DockerK8sSidecar
13
采集高可用设计
采集器宕机、数据缓冲、断点续传、去重机制与容错。
高可用缓冲断点续传
14
采集链路追踪
从业务到日志的TraceID传递，关联日志与调用链。
TraceID调用链关联
15
日志过滤与清洗
敏感信息脱敏（身份证、密码、信用卡），无用日志丢弃。
脱敏过滤数据清洗
16
采集配置管理
集中式配置中心、动态热加载、版本控制与审计。
配置中心热加载版本控制
17
采集监控与告警
采集延迟、丢失率、采集器健康检查与自愈。
监控告警健康检查
18
大规模采集挑战
每日TB级日志、万级Agent管理、数据压缩与传输策略。
大规模TB级压缩
19
日志传输安全
TLS加密、身份认证、数据完整性校验与防篡改。
TLS加密认证
20
云环境日志采集
AWS CloudWatch、阿里云SLS、自建采集器混合方案。
云环境CloudWatchSLS
21
日志采集与合规
GDPR、等保2.0、日志留存周期、数据主权要求。
GDPR等保合规
22
采集器资源隔离
cgroup限制、CPU亲和性、内存限制与资源保障。
cgroup资源隔离亲和性
23
日志采样策略
全量采集 vs 采样采集，动态采样与静态采样方案。
采样全量动态采样
24
采集数据格式转换
Grok解析、正则表达式、字段映射与数据清洗。
Grok正则字段映射
25
采集与存储的衔接
Kafka缓冲、直接写入ES、写入对象存储的选型。
KafkaES对象存储
26
采集延迟优化
从日志产生到可查询的端到端延迟优化实践。
延迟优化端到端
27
采集器版本升级
灰度发布、回滚策略、兼容性测试与平滑迁移。
灰度回滚兼容性
28
日志采集与APM集成
日志与指标、链路追踪的关联分析，可观测性融合。
APM指标链路
29
采集成本控制
日志压缩、冷热分离、生命周期管理与成本优化。
成本压缩冷热分离
30
实战案例：电商平台演进
某电商平台日志采集架构演进，从单机到万级Agent踩坑记录。
实战电商架构演进