VIP20
本课程属于：040-日志数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

搭建日志采集系统

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
日志系统概述
为什么需要日志系统、日志系统的核心价值、常见日志系统对比（ELK/Loki/ClickHouse）。
核心概念选型对比
第2章
环境准备
Linux基础操作、Docker安装与配置、Docker Compose入门。
基础环境Docker
第3章
日志采集基础
日志格式规范（JSON/文本）、日志级别、日志切割策略。
规范切割
第4章
Filebeat入门
Filebeat架构、安装配置、读取日志文件。
轻量采集入门
第5章
Filebeat进阶
多行日志处理、字段添加与删除、条件过滤。
高级配置过滤
第6章
Logstash基础
Logstash架构、Pipeline概念、Input/Filter/Output插件。
数据处理Pipeline
第7章
Logstash实战
Grok正则解析、Date时间处理、Mutate数据修改。
Grok解析
第8章
Elasticsearch存储
ES核心概念（索引/分片/副本）、REST API操作、索引生命周期管理。
存储ES
第9章
Kibana可视化
Kibana安装、数据探索、Dashboard制作。
可视化Dashboard
第10章
Kafka消息队列
为什么需要Kafka、Kafka核心概念、Docker部署Kafka集群。
消息队列Kafka
第11章
Kafka与日志系统
Filebeat输出到Kafka、Logstash从Kafka消费、吞吐量压测。
集成压测
第12章
日志采集架构设计
单机架构 vs 分布式架构、高可用设计、数据流拓扑。
架构高可用
第13章
日志清洗与结构化
JSON标准化、字段映射、数据类型转换。
清洗结构化
第14章
日志告警
ElastAlert配置、告警规则编写、通知渠道（钉钉/邮件）。
告警通知
第15章
日志链路追踪
TraceID注入、跨服务日志关联、分布式追踪方案。
链路追踪TraceID
第16章
日志安全
日志脱敏、访问控制、审计日志。
安全脱敏
第17章
日志存储优化
冷热数据分离、索引压缩、存储成本控制。
存储成本
第18章
日志查询优化
索引设计、查询语句优化、聚合分析。
查询优化
第19章
日志采集Agent开发
Python实现简易Agent、配置文件热加载、断点续传。
开发Python
第20章
容器化日志采集
Docker日志驱动、Kubernetes日志采集方案（DaemonSet/Sidecar）。
容器K8s
第21章
日志采集性能调优
Filebeat/Logstash参数调优、JVM调优、网络优化。
性能调优
第22章
日志系统监控
Prometheus监控日志组件、Grafana看板、健康检查。
监控Prometheus
第23章
日志系统故障排查
常见问题（丢数据/延迟/格式错误）、排查方法论。
故障排查
第24章
多云环境日志采集
混合云日志方案、跨地域传输、合规要求。
多云混合云
第25章
日志数据湖
日志入湖（S3/HDFS）、数据湖查询（Presto/Spark）。
数据湖S3
第26章
日志与AIOps
异常检测、根因分析、日志聚类。
AIOps智能
第27章
日志系统迁移
从ELK迁移到Loki、从自建迁移到云服务、迁移注意事项。
迁移Loki
第28章
日志系统成本控制
资源评估、按需扩容、数据生命周期管理。
成本生命周期
第29章
日志系统最佳实践
命名规范、目录结构、团队协作流程。
最佳实践规范
第30章
项目实战
搭建完整日志采集系统（需求分析、架构设计、部署实施、验收测试）。
实战全流程