📚 课程目录第3章文本数据获取

3. 文本数据获取

财报电话会文本因子研究的第一步，不是建模，而是把“可用的文本”稳定、合规地拿到手。电话会记录与普通新闻不同：它包含管理层预设陈述（Prepared Remarks）与分析师问答（Q&A）两段结构，语气、信息密度和噪声水平差异很大。若数据来源混杂、时间戳错位或问答未分离，后续语调打分与因子回测都会被系统性污染。因此，本节把数据获取拆成“来源—渠道—方法—合规”四条主线，帮助你建立可复现的数据管线。

一、核心原理：电话会文本的三种来源与质量分层

从信息生产链条看，电话会文本通常有三个层次：原始音频、实时速记稿、会后整理稿。原始音频信息最全，但处理成本高；实时速记稿时效性最好，却常含错别字、说话人混淆；会后整理稿可读性最强，但可能被编辑润色，损失部分真实语调。研究上常用“整理稿做主体、音频做校验”的双轨策略。

另一个关键原理是说话人角色标注。同一句话由CEO、CFO还是分析师说出，其语调含义完全不同。获取数据时必须尽量保留角色、公司、财季、日期、段落类型（陈述/问答）五个元字段，否则后续无法做角色加权语调因子。

二、公开数据渠道与API方法

公开渠道可分为四类：公司投资者关系页、监管披露系统、商业金融数据库、财经媒体与聚合平台。公司IR页通常提供最权威的新闻稿与部分电话会实录；监管系统如美国SEC EDGAR可获取8-K、10-Q等附件，但电话会全文并非总是强制披露；商业数据库字段规范、历史长，但需付费且对再分发有限制；财经门户时效快，但版本可能被裁剪。

若使用API，建议统一封装为“拉取—解析—落库”三段式。以下示例展示用Python请求并保存原始JSON的最小骨架：

import requests, json, time

API_URL = "https://api.example-finance.com/v1/earnings-call"
HEADERS = {"Authorization": "Bearer YOUR_"}

def fetch_call(ticker, year, quarter):
    params = {"ticker": ticker, "year": year, "quarter": quarter}
    resp = requests.get(API_URL, headers=HEADERS, params=params, timeout=30)
    resp.raise_for_status()
    data = resp.json()
    # 保留原始响应，便于审计与重放
    with open(f"raw/{ticker}_{year}Q{quarter}.json", "w", encoding="utf-8") as f:
        json.dump(data, f, ensure_ascii=False, indent=2)
    time.sleep(1.2)  # 控制频率，尊重服务端限流
    return data

爬虫方法适用于无API或API覆盖不足的场景。核心不是“抓得快”，而是“抓得稳、可复现”。建议使用请求头伪装、随机间隔、失败重试与断点续爬，并将HTML原文与解析结果同时存档。解析时优先定位<section class="prepared-remarks">与<section class="qa">等语义标签，而非依赖脆弱的绝对路径。

三、案例/场景：一次跨市场电话会采集

假设你要构建A股、港股、三地电话会文本库。A股电话会实录常见于巨潮资讯网与公司公告；港股多见于港交所披露易与公司IR页；则可通过EDGAR、商业数据库或公司IR页获取。实操中可先以为试点，因为披露格式相对统一、英文文本易于用正则切分问答。跑通后再扩展到中文场景，重点处理中文说话人识别与繁简转换。

渠道类型	典型来源	优势	风险/限制
公司IR页	企业官网投资者关系栏目	权威、免费、常含音频	历史归档不全、格式不统一
监管披露	SEC EDGAR、港交所披露易、巨潮资讯	法律效力强、可追溯	电话会全文未必强制披露
商业数据库	专业金融终端与API	字段规范、历史长、支持批量	费用高、再分发受限
财经门户	财经新闻与聚合平台	时效快、覆盖广	版本可能裁剪、需核对原文

四、误区/复盘与合规伦理注意事项

常见误区一：只存解析后文本，不存原始页面。一旦解析规则出错，无法回溯。正确做法是原始HTML/JSON与解析结果双份存档，并记录抓取时间与URL。

常见误区二：忽视问答分离。把Prepared Remarks与Q&A混在一起做语调打分，会放大管理层正面陈述的权重，导致因子失真。

常见误区三：无视robots.txt与频率限制。高频请求可能被封IP，甚至引发法律风险。应设置合理间隔、遵守网站条款。

合规与伦理清单：

只采集公开可访问内容，不绕过登录、付费墙或验证码。
保留来源URL、抓取时间、授权标签，便于审计与引用。
不将受版权保护的全文原文对外转售或公开再分发，研究内部使用需遵守数据库许可。
涉及个人姓名、声音等个人信息时，遵循最小必要原则，避免二次识别。
若使用音频转写，注意当地录音与转写法律要求，必要时进行匿名化处理。

复盘来看，一个稳健的电话会文本获取管线应满足：来源可追溯、字段可对齐、问答可分离、频率可控制、授权可审计。把这五点做成检查表，在每次批量采集后逐项核对，才能为后续的文本因子与语调分析提供干净、合规、可复现的数据底座。