4、文本表示方法：词袋模型、TF-IDF、Word2Vec、GloVe、BERT嵌入在金融语料中的特点与选择
在AI选股的自然语言处理（NLP）流程中，将非结构化的新闻、公告、社交媒体文本转化为机器可理解的向量，是决定下游情绪分析模型性能的基石。金融语料具有高度领域性：专业术语密集（如“市盈率”、“逆回购”）、语义随时间与市场环境动态漂移（如“牛市”在不同周期含义不同）、事件驱动性强（如“并购”、“降准”）。本章将系统拆解五类主流文本表示方法——词袋模型（BoW）、TF-IDF、Word2Vec、GloVe与BERT嵌入，从核心原理、金融适配性、选择策略到实战案例，帮助你在量化投研场景中做出精准的技术选型。
4.1 词袋模型与TF-IDF：稀疏表示的金融适用性
核心原理：词袋模型（Bag of Words）将文本视为词的集合，忽略语法和词序，仅统计每个词在文档中出现的频次，构建一个“文档-词项”的稀疏矩阵。TF-IDF（Term Frequency-Inverse Document Frequency）在词频基础上引入逆文档频率，用以降低“的”、“是”等停用词以及金融新闻中高频出现的“公司”、“市场”等通用词的权重，突出具有区分度的领域词汇。
金融语料中的特点：
- 维度爆炸：金融语料词汇量通常超过5万，稀疏矩阵存储开销大，且容易过拟合。
- 语义缺失：“利好”与“利空”在词袋中是完全独立的维度，无法体现反义关系。
- 术语覆盖：对于“量化宽松”、“不良贷款率”等复合术语，简单分词后可能被拆散，导致特征失真。
操作流程：在构建金融情绪特征时，建议先使用领域词典（如《中国金融术语标准》）进行分词，再对TF-IDF矩阵进行LSA（潜在语义分析）降维，保留前200-500个主题维度。对于短文本（如个股新闻标题），可直接使用TF-IDF加权后的词向量拼接。
实战场景：某券商舆情系统需要从每日3000条个股新闻中提取情绪得分。使用TF-IDF构建特征后，发现“违约”、“质押”等词的IDF值显著高于“上涨”、“下跌”，说明这些词在整体语料中较少出现但信息量大。通过设置TF-IDF阈值（如0.3），过滤掉低区分度特征，模型AUC从0.71提升至0.76。
常见误区：不要直接对原始词频矩阵进行机器学习。金融新闻中“风险”一词在每篇报道中几乎都出现，若不经过IDF加权，模型会将其误判为中性词。务必先进行TF-IDF转换，再考虑是否加入领域词典的权重修正。
4.2 Word2Vec与GloVe：稠密向量与金融语义迁移
核心原理：Word2Vec通过神经网络语言模型（CBOW或Skip-gram）学习词的分布式表示，使语义相近的词在向量空间中距离接近。GloVe（Global Vectors）则基于全局词共现矩阵分解，结合了矩阵分解与局部上下文窗口的优势，训练效率更高，对低频词更友好。
金融语料适配性对比：
| 维度 | Word2Vec | GloVe |
|---|---|---|
| 训练语料要求 | 需要大量领域语料（>1亿词） | 对中等规模语料（5000万词）更鲁棒 |
| 语义关系捕捉 | 擅长类比推理（如“北京-中国+日本=东京”） | 擅长词对共现关系，对金融术语搭配更敏感 |
| 金融场景表现 | 对“利好/利空”等反义词区分度较好 | 对“并购/收购”等近义词聚类更紧密 |
| 训练速度 | 较快（负采样优化） | 较慢（需构建共现矩阵） |
选择策略：若你拥有自建的金融新闻语料库（如过去5年的公告、研报），建议使用Word2Vec的Skip-gram模式训练100-300维向量，窗口大小设为5-8以捕捉局部金融事件。若使用公开预训练向量（如Google News向量），需注意金融术语覆盖率不足的问题，可考虑用领域语料进行增量训练（fine-tune）。
经验提醒：在计算金融文本相似度时，Word2Vec的余弦相似度对“涨停”与“跌停”的区分度可能不足，因为两者在语境中常同时出现（如“从涨停到跌停”）。建议叠加情感极性维度（如使用LSTM情感分类器的输出作为补充特征）。
案例拆解：某私募基金构建“供应链金融风险”预警模型。使用GloVe在50万篇上市公司公告上训练100维向量，发现“应收账款”、“存货周转”与“现金流”三个词向量距离极近，而“质押”与“冻结”距离也较近。通过聚类分析，成功识别出12个风险主题簇，较传统关键词匹配方法召回率提升22%。
4.3 BERT嵌入：上下文感知的金融语义革命
核心原理：BERT（Bidirectional Encoder Representations from Transformers）通过双向Transformer编码器，为每个词生成依赖上下文的动态向量。同一词在不同语境下（如“市场情绪高涨”与“市场情绪低落”）会获得不同的嵌入表示，这是静态向量（Word2Vec/GloVe）无法实现的。
金融语料中的关键优势：
- 消歧能力：“期货”在“期货市场”与“期货合约到期”中的向量差异显著，有助于精确判断事件类型。
- 长距离依赖：能捕捉“尽管短期承压，但长期看好”这类转折句中的真实情绪倾向。
- 领域微调：使用金融语料（如FinBERT）微调后，在情绪分类任务上F1值可提升5-8个百分点。
操作流程：对于金融文本，推荐使用预训练的FinBERT或中文金融BERT（如RoBERTa-wwm-ext-financial），将文本截断为512个，取[CLS]向量作为句子表示，或取所有向量的均值池化作为文档表示。对于长文本（如年报），需分段处理并加权聚合。
风险提示：BERT嵌入的计算成本较高，单条新闻推理约需10-50ms（GPU）。在实时选股场景中，若每秒需处理100条新闻，建议使用蒸馏版（如DistilBERT）或提前对新闻进行相关性过滤，仅对高影响事件（如“业绩预告”、“重大合同”）进行深度编码。
实战案例：某量化团队使用FinBERT对上市公司公告进行情绪打分，并与Word2Vec+SVM基线对比。在“业绩预增”公告中，FinBERT正确识别出“同比增长50%”为强利好（得分0.92），而Word2Vec模型因“增长”与“下降”在训练语料中频繁共现，仅给出0.61的弱积极分。通过引入BERT嵌入，策略年化超额收益从8.3%提升至12.7%，最大回撤降低2.1个百分点。
4.4 方法选择决策框架与金融场景匹配
决策依据：选择文本表示方法需综合考量数据规模、任务复杂度、算力约束与可解释性需求。以下为金融场景的推荐矩阵：
| 应用场景 | 推荐方法 | 理由 |
|---|---|---|
| 实时行情情绪监控（短文本） | TF-IDF + 逻辑回归 | 快速、可解释、易部署 |
| 研报主题分类（中长文本） | GloVe + TextCNN | 兼顾语义与局部特征 |
| 事件驱动策略（公告/新闻） | BERT（微调） | 精准识别事件类型与影响 |
| 社交舆情分析（噪声大） | Word2Vec + LSTM | 捕捉时序依赖，抗噪性强 |
| 可解释性要求高的风控模型 | TF-IDF + 稀疏特征 | 特征可回溯至具体词汇 |
融合策略：在实战中，建议采用“多表示融合”方案。例如，将TF-IDF的稀疏特征（捕捉关键词强度）与BERT的稠密向量（捕捉上下文语义）拼接，输入到梯度提升树或MLP中。某头部基金实践表明，融合模型较单一BERT模型在情绪分类准确率上提升1.8%，且对“中性”文本的误判率降低15%。
复盘总结：文本表示没有最优，只有场景适配。金融语料的特殊性要求我们：① 优先构建领域词典与停用词表；② 对静态向量进行领域增量训练；③ 对动态向量进行任务微调；④ 始终保留可解释性强的稀疏特征作为兜底。建议建立离线评估集（含历史重大事件文本），定期回测不同表示方法的稳定性。
成本-收益分析：以每日处理10万条金融文本为例，TF-IDF方案GPU成本约$0.5/天，BERT方案约$15/天。若策略年化收益提升超过2%，则BERT的增量成本可被覆盖。建议中小团队采用“TF-IDF+Word2Vec”作为基线，待策略验证有效后再逐步引入BERT。