4. 金融数据获取与预处理

异构图金融多实体关系建模的第一步，不是搭模型，而是把“数据地基”打牢。金融数据天然分散在行情、公告、财报、监管披露、新闻舆情、工商司法等多个来源中，格式从结构化表格到半结构化PDF、再到非结构化文本，质量参差不齐。本节围绕四个关键环节展开：数据源选择、实体识别、关系抽取、数据清洗与隐私合规，并给出可落地的工程化处理思路。

一、核心原理：金融数据的“多源异构”本质

金融数据建模的核心矛盾在于：实体相同但表述不同，关系真实但来源分散。例如“贵州茅台”可能以“贵州茅台酒股份有限公司”“茅台”“600519.SH”等多种形式出现；而“控股”“参股”“担保”“供应链合作”等关系，往往需要从公告、新闻、工商信息中交叉验证。因此，预处理的目标不是简单清洗，而是构建可对齐、可追溯、可合规的实体—关系底座。

二、方法流程：从数据源到合规入库

建议采用“五步流水线”：数据源接入 → 实体识别 → 关系抽取 → 数据清洗 → 隐私合规校验。每一步都需保留原始出处与时间戳，便于后续审计与回溯。

1. 数据源接入：结构化数据（行情、财务指标）优先走API或数据库直连；半结构化数据（公告PDF、年报）需解析表格与段落；非结构化数据（新闻、研报）需分句、去噪、去重。
2. 实体识别：金融领域实体包括公司、人物、机构、产品、股票代码、行业、地区等。可采用“词典+规则+模型”混合策略：先用工商库、股票代码表构建强词典，再用BERT-CRF或大模型做补充召回。
3. 关系抽取：关系类型建议控制在20～40类，如“控股”“参股”“任职”“担保”“供应商”“客户”“竞争对手”。抽取方式包括基于规则的模式匹配、远程监督、以及基于Prompt的LLM抽取。
4. 数据清洗：处理缺失值、重复实体、冲突关系、时间失效。例如同一对实体在不同年份存在“控股”与“非控股”，需按时间切片保留版本。
5. 隐私合规：对个人身份信息（PII）进行脱敏，对敏感关系（如实际控制人、关联交易）做权限分级，确保符合《个人信息保护法》《数据安全法》及交易所披露规则。

三、案例/场景：上市公司关联关系抽取

以“A公司为B公司提供担保”为例，数据可能来自公告标题、正文表格、新闻快讯。处理时需：

• 从公告中抽取“担保方”“被担保方”“担保金额”“担保期限”；
• 将“A公司”“B公司”对齐到统一实体ID；
• 若新闻与公告冲突，以公告为准并标记置信度；
• 对涉及自然人（如法人代表）的字段进行脱敏或加密存储。

下表给出常见数据源与预处理要点的对照清单：

四、误区/复盘：常见坑与修正建议

以下是一个简化的实体对齐与关系版本化配置示例：

{
  "entity_alignment": {
    "canonical_id": "ORG_600519",
    "aliases": ["贵州茅台", "茅台", "600519.SH"],
    "source": "exchange_announcement"
  },
  "relation_version": {
    "head": "ORG_600519",
    "tail": "ORG_10001",
    "type": "控股",
    "valid_from": "2020-01-01",
    "valid_to": "2023-06-30",
    "confidence": 0.95
  }
}

最后，用一张SVG梳理本节的核心数据流与合规检查点：