1. 课程导入
金融市场的价格波动，往往在新闻文本中先留下痕迹。一条关于“央行降准”的快讯、一份“某行业监管收紧”的研报摘要、一段“上市公司业绩预告”的公告，都可能在数分钟内影响资金流向与情绪。然而，金融新闻的数量以每天数万条计，来源分散、格式各异、噪声极高。人工阅读既不可能覆盖全量，也难以在时间窗口内完成主题归纳与热点识别。本课程要解决的核心问题正是：如何用自然语言处理与无监督学习技术，把海量金融新闻自动组织成可解释的主题簇，并从中发现正在升温的热点事件。
本章作为全课程导入，不急于进入算法细节，而是先建立一张“认知地图”：明确学习目标、理解核心价值、掌握整体知识框架，并给出一条可执行的实战路线图。后续29章将沿着这张地图逐层展开。
一、学习目标：从“能看懂”到“能落地”
本课程的学习目标分为四个层次，由浅入深、层层递进：
- 概念层：理解主题聚类与热点发现的区别与联系。聚类是“把相似新闻归堆”，热点发现是“在时间轴上判断哪些堆正在变大、变快、变重要”。前者是静态结构，后者是动态信号。
- 方法层：掌握从文本预处理、向量化、降维、聚类到主题命名与热点评分的完整方法链，理解每一步的输入、输出与常见参数。
- 工具层：能够使用 Python 生态中的 jieba、scikit-learn、BERTopic、UMAP、HDBSCAN 等工具完成端到端实验，并读懂关键日志与评估指标。
- 业务层：能够把聚类结果转化为投研、风控、舆情监控可用的主题清单与热点预警，而不是停留在“跑出一个模型”的层面。
二、核心价值：为什么金融场景需要主题聚类与热点发现
金融新闻的价值不在于单条信息本身，而在于信息之间的关联与时间上的聚集。一条“某银行被罚”的新闻可能只是个案；但当“银行被罚”“信贷收紧”“不良率上升”三条新闻在同一周内密集出现时，它们共同指向一个值得警惕的主题。主题聚类负责把这种关联显性化，热点发现负责把这种聚集量化。
具体价值体现在三个场景：
| 场景 | 传统做法 | 聚类与热点发现带来的改变 |
|---|---|---|
| 投研信息聚合 | 人工订阅关键词，逐条阅读 | 自动生成当日主题簇，按热度排序，研究员只看Top主题 |
| 舆情与风控监控 | 规则匹配负面词，误报率高 | 通过主题簇识别“隐性风险聚集”，发现规则覆盖不到的新话题 |
| 事件驱动策略 | 依赖人工判断事件级别 | 用热点评分量化事件升温速度，为信号生成提供可回测的输入 |
需要强调的是，聚类与热点发现不是“替代人”，而是“把人的注意力分配到最值得看的地方”。模型输出的是候选主题与热度排序，最终判断仍由业务人员完成。
三、整体知识框架：五层结构
本课程的知识框架可以概括为五层，从数据到决策逐层向上：
- 数据层：金融新闻的采集、去重、时间对齐与来源标注。数据质量决定后续所有环节的上限。
- 表示层：分词、去停用词、实体识别、文本向量化。把非结构化新闻转成可计算的向量。
- 结构层：降维、聚类、主题数选择、主题命名。把向量空间中的点组织成有语义的主题簇。
- 动态层：时间窗口切分、热度评分、突增检测、热点排序。把静态主题簇变成随时间演化的热点信号。
- 应用层：主题看板、热点预警、事件回测与人工反馈闭环。
这五层不是孤立的流水线，而是存在反馈：应用层的反馈会反过来指导数据层的采集范围与表示层的特征选择。课程后续章节会反复回到这张框架图上定位当前知识点。
四、实战路线图：从零到一的三阶段
为了让学习路径清晰可执行，本课程把实战分为三个阶段，每个阶段都有明确的交付物：
- 阶段一：打通单日主题聚类。用一天内的金融新闻，完成预处理、向量化、聚类与主题命名，输出“当日主题清单”。这一阶段的目标是跑通链路，不追求最优效果。
- 阶段二：引入时间维度做热点发现。把连续多日新闻按时间窗口切分，计算每个主题簇的热度变化，识别突增主题，输出“热点预警列表”。
- 阶段三：评估、调优与业务化。用人工标注的小样本评估聚类质量与热点准确率，调整参数，并把结果接入看板或预警系统。
三个阶段对应的典型命令与配置如下，后续章节会逐项展开：
# 阶段一：单日主题聚类（示意）
python run_cluster.py \
--input data/news_2024-06-01.jsonl \
--vectorizer bert \
--reducer umap --n-neighbors 15 \
--cluster hdbscan --min-cluster-size 8 \
--output out/topics_2024-06-01.csv
# 阶段二：多日热点发现（示意）
python run_hotspot.py \
--input data/news_2024-06-*.jsonl \
--window 1d --score tfidf_growth \
--topk 20 \
--output out/hotspots_2024-06.csv五、常见误区与复盘要点
初学者在金融新闻聚类与热点发现中，最容易踩以下四个坑：
- 把聚类当分类。聚类没有标签，主题数不是预设的，而是由数据结构和参数共同决定的。强行指定主题数，往往得到语义混杂的簇。
- 忽视金融领域分词。通用分词器会把“降准”“北向资金”“可转债”切碎，导致向量失真。必须补充领域词典与停用词表。
- 只看聚类不看时间。静态聚类只能告诉你“有哪些主题”，无法告诉你“哪个主题正在升温”。热点发现必须引入时间窗口与热度评分。
- 用准确率评估一切。无监督任务没有标准答案，应结合轮廓系数、主题一致性、人工可解释性等多维度评估，而不是追求单一指标。