4. 金融文本特征工程
在金融新闻主题聚类与热点发现任务中，模型能否区分“降准”与“降息”、“回购”与“逆回购”、“业绩预增”与“业绩预亏”，很大程度上取决于特征工程的质量。原始新闻是连续字符流，机器无法直接理解，必须将其转换为可计算的数值向量。本节围绕词袋模型、TF-IDF、N-gram、关键词提取与金融领域词典构建五个核心环节，说明如何把金融文本转化为高质量特征。
一、核心原理：从文本到向量的三条主线
文本特征工程的核心是把非结构化文本映射到向量空间。词袋模型（Bag of Words, BoW）忽略词序，只统计词频，形成“词—文档”矩阵；TF-IDF在此基础上引入逆文档频率，压制“公司”“市场”等高频通用词，突出“可转债”“商誉减值”等区分性强的词；N-gram则通过相邻词组合保留局部语序，缓解“不看好”与“看好”被等同的问题。
三者的关系可以理解为：BoW提供基础词频信号，TF-IDF完成权重再分配，N-gram补充短语级语义。金融文本中大量专有名词和固定搭配，如“公开市场操作”“中期借贷便利”“注册制改革”，单字切分后语义会严重失真，因此N-gram与领域词典往往需要协同使用。
二、方法流程：五步构建金融文本特征
- 文本预处理：去除HTML标签、广告、免责声明，统一全半角，按标题与正文分别处理。金融新闻标题信息密度高，建议单独加权。
- 分词与停用词：使用jieba等工具，加载金融自定义词典，过滤“的”“了”“记者”等通用停用词，但保留“不”“未”“无”等否定词。
- 特征抽取：构建BoW矩阵，同时生成1-gram与2-gram特征，控制max_features避免维度爆炸。
- 权重计算：使用TF-IDF对特征加权，可对标题词、正文词设置不同权重，或对时间衰减因子进行调节。
- 关键词与词典融合：用TF-IDF或TextRank提取关键词，将领域词典命中词作为强特征拼接进向量。
from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
# 加载金融领域词典
jieba.load_userdict("finance_dict.txt")
corpus = [
"央行开展中期借贷便利操作，利率维持不变",
"某公司发布业绩预增公告，净利润大幅增长",
"监管部门就注册制改革公开征求意见"
]
vectorizer = TfidfVectorizer(
tokenizer=lambda x: jieba.lcut(x),
ngram_range=(1, 2),
max_features=5000,
min_df=2,
max_df=0.85,
sublinear_tf=True
)
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out()[:20])
print(X.shape)
三、案例场景：热点发现中的特征选择
假设我们要从一周的金融新闻中发现“货币政策”“资本市场”“公司业绩”三类热点。若只用BoW，高频词“公司”“市场”“同比”会主导聚类结果，导致三类新闻混在一起。引入TF-IDF后，“中期借贷便利”“注册制”“业绩预增”等词的权重显著上升，聚类轮廓系数通常可提升0.1以上。
进一步加入2-gram后，“公开市场操作”“逆回购利率”“商誉减值风险”等短语被识别为独立特征，热点主题的可解释性明显增强。实际项目中，可将领域词典命中词作为额外特征，与TF-IDF向量拼接，形成“统计特征+知识特征”的混合表示。
| 特征方法 | 核心作用 | 金融场景优势 | 主要风险 |
|---|---|---|---|
| 词袋模型 BoW | 词频统计，构建基础向量 | 实现简单，适合快速基线 | 忽略词序，通用词干扰大 |
| TF-IDF | 加权抑制高频通用词 | 突出领域区分词，提升聚类纯度 | 对短文本和低频词不稳定 |
| N-gram | 保留局部词序与短语 | 识别“不看好”“逆回购”等结构 | 维度膨胀，稀疏性加剧 |
| 关键词提取 | 压缩文本核心信息 | 便于人工审核与主题命名 | 依赖分词与停用词质量 |
| 金融领域词典 | 注入先验知识，强特征命中 | 提升专有名词与事件识别召回 | 词典维护成本高，覆盖有限 |
四、误区与复盘：特征工程中的常见陷阱
误区一：停用词表一刀切。金融文本中“不”“未”“无”“低于”等否定词若被过滤，会导致情感与事件方向完全反转。建议建立金融专用停用词表，保留否定词和程度词。
误区二：盲目扩大N-gram范围。3-gram以上会带来维度爆炸和严重稀疏，且金融新闻中长短语重复率低。通常1-gram加2-gram已足够，必要时对特定短语做规则合并。
复盘建议：每次调整特征后，固定用同一批标注新闻做聚类评估，观察轮廓系数、主题纯度和关键词可解释性三项指标。领域词典应持续迭代，将新出现的政策术语、机构简称、市场概念及时纳入，并记录版本变更，避免特征口径漂移。
总体而言，金融文本特征工程不是单一算法的选择，而是“统计特征+语言结构+领域知识”的协同设计。BoW与TF-IDF提供数值基础，N-gram保留局部语义，关键词提取与领域词典注入先验知识。只有把这几层信号合理组合，后续的主题聚类与热点发现才能既稳定又具备金融业务解释力。