1. 课程导入

欢迎进入《金融文本模型评估与错误分析实战》。在金融场景中，模型“能跑通”与“可交付”之间往往隔着一条很深的鸿沟：一条研报摘要可能因为漏掉“同比转负”而被判为事实错误；一条舆情分类可能因为把“利空出尽”误判为利好而触发错误交易信号；一份合同抽取结果可能因为金额单位从“万元”变成“元”而导致风控阈值完全失效。本课程不教如何从零训练一个大模型，而是聚焦一个更贴近生产的问题：当模型已经存在，我们如何科学地评估它、定位它的错误、并把错误转化为可执行的改进动作。

一、学习目标：从“看准确率”到“做错误归因”

本课程的学习目标分为四个层次，逐层递进：

• 认知层：理解金融文本任务的特殊性——术语密集、数值敏感、时效性强、标签边界模糊，明确“通用评估指标”在金融场景中的局限。
• 方法层：掌握评估集构建、指标选择、切片分析、错误分类体系（Taxonomy）设计、人工复核与自动归因结合的方法。
• 工具层：能够使用 Python、pandas、scikit-learn、seqeval、/本地模型 API 等工具完成批量推理、指标计算与错误样本聚类。
• 实战层：独立完成一个金融文本模型的评估报告，输出错误分布、根因假设、改进优先级和回归测试清单。

二、核心概念：评估、错误分析与金融文本的三角关系

在进入实战前，需要先统一几个关键概念，避免后续章节出现理解偏差。

这三个概念构成一个闭环：评估发现异常 → 错误分析定位根因 → 改进后回归验证。缺少任何一环，模型迭代都会变成“凭感觉调参”。

三、整体框架：四层评估与错误分析体系

本课程将评估与错误分析拆解为四个层次，从粗到细、从自动到人工，形成可落地的流水线。

1. 指标层：计算准确率、F1、AUC、ROUGE、BERTScore 等，快速判断模型是否达到基线。
2. 切片层：按行业、文本类型、长度、时间、实体密度等维度拆分指标，发现“整体达标、局部崩溃”。
3. 错误层：对错误样本进行人工标注与自动聚类，形成错误分类体系，统计各类型占比。
4. 根因层：对高频错误类型追溯数据、标注、模型、任务定义四类根因，输出改进优先级。

四、实战路线图：从环境准备到评估报告

本课程后续章节将围绕以下路线图展开，第1章先建立全局认知，后续每章深入一个环节。

阶段一：环境与数据准备
  ├── 安装依赖：pandas, scikit-learn, seqeval, , tqdm
  ├── 加载金融文本数据集（公告/研报/新闻/合同）
  └── 划分训练集、验证集、评估集（按时间切分）

阶段二：批量推理与指标计算
  ├── 调用模型 API 或本地模型批量推理
  ├── 保存预测结果与原始文本、标签
  └── 计算整体指标与切片指标

阶段三：错误分析与归因
  ├── 人工复核 100～200 条错误样本
  ├── 设计错误分类体系（Taxonomy）
  ├── 自动聚类对齐分类体系
  └── 统计错误分布，定位高频根因

阶段四：改进与回归
  ├── 数据修复、提示词优化、模型微调
  ├── 重新跑评估集
  └── 输出评估报告与回归测试清单

下面这张图展示了本课程的核心评估与错误分析闭环，你可以把它当作后续所有章节的“地图”。

五、常见误区与复盘：为什么很多评估报告“看起来有用，实际没用”

在进入正式实战前，先列出几个高频误区，帮助你在后续章节中保持警惕。

• 误区一：只看整体指标。整体 F1 达到 0.85，但在“保险行业公告”切片上只有 0.52，这种局部崩溃往往才是生产事故的来源。
• 误区二：把标注问题当成模型问题。如果标注本身存在歧义，模型“错误”可能只是与标注者理解不同。此时改模型不如先改标注规范。
• 误区三：错误分类体系过于粗糙。只分“对/错”无法指导改进。至少应区分事实错误、数值错误、边界错误、极性错误、遗漏错误。
• 误区四：没有回归测试。修复一个错误后，可能在另一个切片上引入新错误。每次改动都必须重跑评估集并对比前后差异。
• 误区五：忽略时间泄漏。用未来数据训练、用过去数据评估，指标虚高，上线后迅速衰减。金融文本必须按时间切分。