01
Makefile入门
什么是Makefile、为什么需要Makefile、与数据采集的关系、安装make工具
基础环境
02
第一个Makefile
目标、依赖、规则的基本语法，编写第一个编译C程序的Makefile
语法实战
03
变量与赋值
=、:=、?=、+=的区别，自动化变量$@、$<、$^
变量自动化
04
隐式规则与模式匹配
%通配符、隐式规则列表、模式规则编写
模式通配
05
函数使用
wildcard、patsubst、notdir、foreach、call等常用函数
函数字符串
06
条件判断
ifeq、ifneq、ifdef、ifndef的使用
逻辑分支
07
文件包含与多目录管理
include指令、递归make、多目录项目结构
组织模块
08
伪目标与强制目标
.PHONY声明、强制目标技巧
技巧清理
09
Makefile调试技巧
make -n、make -d、info/warning/error函数
调试诊断
10
数据采集场景分析
日志文件采集、传感器数据、API数据、CSV/JSON数据源
场景数据源
11
采集脚本组织
Python脚本与Makefile结合、虚拟环境管理、依赖安装
脚本Python
12
数据清洗流程
缺失值处理、格式统一、去重、异常值过滤
清洗预处理
13
数据转换与规整
JSON转CSV、时间戳格式化、字段映射
转换ETL
14
数据存储设计
本地文件、SQLite数据库、CSV归档
存储持久化
15
增量采集策略
时间戳对比、文件变化检测、断点续采
增量效率
16
并行采集优化
make -j并行执行、任务依赖图、资源控制
并行性能
17
错误处理与重试机制
退出码判断、自动重试、日志记录
健壮重试
18
配置文件管理
Makefile中读取外部配置、环境变量、.env文件
配置环境
19
定时任务集成
crontab + Makefile、系统d timer、触发式采集
调度定时
20
数据校验与质量检查
完整性校验、MD5/SHA校验、数据量统计
校验质量
21
数据版本控制
采集时间戳归档、增量备份、回滚方案
版本备份
22
多源数据融合
合并多个采集源、去重合并、时间对齐
融合集成
23
数据采集管道设计
阶段划分、中间产物管理、管道可视化
管道架构
24
性能监控与告警
采集耗时统计、资源占用监控、异常告警
监控告警
25
安全与权限
敏感信息脱敏、文件权限控制、SSH密钥管理
安全权限
26
容器化部署
Dockerfile编写、docker-compose编排、环境一致性
Docker部署
27
CI/CD集成
GitLab CI/GitHub Actions中调用Makefile、自动化测试
CI/CD自动化
28
大规模采集架构
分布式采集、消息队列、数据分片
分布式高并发
29
实战项目一：Web日志采集系统
构建一个完整的Web日志采集系统
实战日志
30
实战项目二：多源传感器采集与清洗
构建多源传感器数据采集与清洗平台
实战传感器