4. 文本预处理

财报电话会的原始文本，往往来自电话录音的自动转写或人工速记，天然带有大量“噪声”：口语重复、语气词、断句混乱、数字与百分比混排、特殊符号、说话人标签等。如果直接把这些文本送入词典或机器学习模型，因子会被噪声稀释，语调得分也会失真。文本预处理的目标，就是把“原始口语流”转化为“干净、可比、可计算”的标准化词序列，为后续的词典匹配、情感打分和因子构建打下基础。

一、核心原理：为什么每一步都影响因子质量

文本因子本质上是对“词”的统计。分词决定了词的边界，停用词表决定了哪些词被计入分母，词形还原决定了同一语义是否被合并，标点与数字处理决定了句子边界和量化信息是否保留。任何一步处理不当，都会系统性地改变词频分布，进而改变语调得分。

• 分词：英文按空格切分较简单，但需处理连字符、缩写（如 don't、we're）和专有名词；中文需依赖分词器，且金融术语（如“同比”“环比”“毛利率”）必须保证不被切碎。
• 去停用词：去除 the、a、of 等高频功能词，降低维度；但需注意否定词 not、no、never 不能随意删除，否则会反转情感极性。
• 词形还原：将 running、ran 归并为 run，将 companies 归并为 company，使词典匹配更稳定；相比词干提取，词形还原保留真实词义，更适合金融文本。
• 标点与特殊符号：句号、问号、感叹号是句子边界和语气信号；百分号、货币符号、括号则承载量化信息，不能一律删除。
• 数字处理：数字本身可能是因子（如增长率、EPS），也可能只是噪声（如页码、日期）。需要区分保留与归一化。

二、方法流程：一条可复用的清洗流水线

下面给出一条适用于财报电话会英文文本的典型清洗流程，中文场景可将分词与词形还原替换为对应工具。流程顺序很重要：先做结构性清洗，再做词级归一化，最后做特征保留判断。

原始转写文本
  → 去除说话人标签与时间戳（如 "Operator:", "[00:12:34]"）
  → 统一大小写（lowercase）
  → 展开缩写与否定形式（don't → do not）
  → 分句（按 . ? ! 切分，保留句边界）
  → 分词（tokenization）
  → 去除停用词（保留否定词与程度副词）
  → 词形还原（lemmatization）
  → 数字与符号归一化（百分比、货币、年份）
  → 去除多余空白与残留符号
  → 输出标准化词序列

其中，缩写展开与否定词保留是财报语调分析的关键细节。例如 "we don't expect" 若被错误处理为 "we expect"，情感极性会完全反转。数字归一化建议采用“语义保留”策略：将 "12.5%" 归一为 "12.5 percent"，将 "$3.2 billion" 归一为 "3.2 billion dollars"，既保留量级，又便于词典识别。

三、案例场景：一段真实转写的清洗对比

假设原始转写片段为：

Operator: [00:12:34] Thank you. Our next question comes from John.
CFO: Yeah, so, um, we don't expect Q3 revenue to grow more than 3.5%, 
     and margins will likely be under pressure.

经过清洗后，输出为：

thank you next question come from john
yeah so um we do not expect q3 revenue to grow more than 3.5 percent
and margin will likely be under pressure

可以看到：说话人标签与时间戳被去除；don't 展开为 do not，否定语义完整保留；Q3 保留为季度标识；3.5% 归一为 3.5 percent；margins 还原为 margin。此时再用 Loughran-McDonald 等金融情感词典匹配，就能正确识别 "not expect" 与 "under pressure" 的负面信号。

四、误区与复盘：预处理中最容易踩的坑

完成本章的清洗流水线后，文本才真正具备“可计算性”。下一步的词典匹配、情感打分与因子构建，都建立在这一步输出的标准化词序列之上。把预处理做扎实，后续的语调分析才不会在噪声中迷失方向。