2. 实验环境搭建：Flink集群部署模式选择、依赖组件配置与资源规划
实时预警实验的成败高度依赖底层环境的稳定性与组件间的协同效率。本章围绕Flink集群部署模式、核心依赖组件（Kafka、Redis、MySQL）的配置要点以及资源规划展开，为后续实验提供可复现的基础设施基线。
2.1 Flink集群部署模式选择
Flink支持三种部署模式，实验场景下推荐优先采用YARN Per-Job模式或Standalone Session模式。下表对比了三种模式在实验环境中的适用性：
| 部署模式 | 资源隔离性 | 启动速度 | 适用实验场景 | 运维复杂度 |
|---|---|---|---|---|
| Standalone Session | 弱（共享资源） | 快 | 多作业快速迭代、调试 | 低 |
| YARN Per-Job | 强（每作业独立） | 中等 | 正式实验、性能对比 | 中 |
| Kubernetes Native | 强（容器级隔离） | 慢（需镜像构建） | 容器化实验、弹性伸缩验证 | 高 |
实验建议： 本课程实验统一采用 YARN Per-Job 模式。该模式在资源隔离与启动速度之间取得平衡，且便于通过 YARN 界面监控作业状态，适合预警实验的多次重复验证。
2.2 依赖组件配置
实时预警链路依赖 Kafka 作为消息总线、Redis 作为状态缓存、MySQL 作为规则与结果持久化存储。以下为各组件的配置基线。
2.2.1 Kafka 配置
Kafka 承担预警事件流的接入与缓冲。实验环境建议至少部署 3 个 Broker 节点，关键参数如下：
- topic 设计： 预警输入 topic 分区数 = 实验并行度 × 2（建议 8 分区），副本因子 = 2。
- 消息保留策略：
log.retention.hours=6（实验数据无需长期保留）。 - 消费者参数：
enable.auto.commit=false，由 Flink 通过 Checkpoint 管理偏移量。
# 创建预警输入 topic 示例
bin/kafka-topics.sh --create \
--bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 \
--replication-factor 2 \
--partitions 8 \
--topic alert-input2.2.2 Redis 配置
Redis 用于存储预警规则缓存与实时聚合状态。实验环境推荐使用 Redis Cluster 模式（至少 3 主 3 从）。
- 内存限制：
maxmemory 4gb，避免实验数据膨胀导致 OOM。 - 淘汰策略：
maxmemory-policy allkeys-lru，适用于缓存场景。 - 连接池： Flink 客户端 JedisPool 配置
maxTotal=50，maxIdle=10。
避坑提示： 预警实验中的 Redis 状态数据（如滑动窗口计数）必须设置 TTL，防止状态无限堆积。建议 TTL 设置为窗口长度的 2 倍。
2.2.3 MySQL 配置
MySQL 存储预警规则表、历史告警记录以及实验评估指标。实验环境建议使用 MySQL 8.0+，InnoDB 引擎。
| 表名 | 用途 | 关键字段 | 索引策略 |
|---|---|---|---|
alert_rule |
预警规则定义 | rule_id, metric_name, threshold, window_sec | PRIMARY(rule_id), INDEX(metric_name) |
alert_record |
告警结果持久化 | id, rule_id, alert_time, alert_value, status | PRIMARY(id), INDEX(rule_id, alert_time) |
eval_metric |
实验评估指标 | exp_id, precision, recall, f1_score, latency_p99 | PRIMARY(exp_id) |
2.3 资源规划
资源规划需同时考虑 Flink 作业并行度与依赖组件的承载能力。以下为 3 节点实验集群的推荐资源配置：
2.4 配置验证清单
环境搭建完成后，建议按以下清单逐项验证，确保实验基线一致：
- Flink 集群连通性： 通过
flink list命令确认 JobManager 与 TaskManager 心跳正常。 - Kafka 生产消费测试： 使用
kafka-console-producer与kafka-console-consumer验证 topic 读写。 - Redis 读写延迟： 使用
redis-benchmark -h host -p port -c 50 -n 10000确认 P99 延迟 < 5ms。 - MySQL 连接池测试： 使用 Flink JDBC Connector 执行一次简单的
SELECT 1查询。 - 端到端链路验证： 向 Kafka 发送一条测试事件，确认 Flink 作业能正确写入 Redis 与 MySQL。
基线确认： 完成上述验证后，建议将各组件的配置文件（flink-conf.yaml、server.properties、redis.conf、my.cnf）纳入版本管理，确保每次实验环境可复现。