1. 课程导入

欢迎进入《金融NLP端到端项目实战》。在动手写第一行代码之前，我们需要先建立一张"全局地图"：金融NLP到底解决什么问题、它经历了怎样的技术演进、在真实业务中落在哪些场景，以及一个端到端项目从原始文本到上线服务要经过哪些环节。本章不追求算法细节，而是帮你把后续29章的知识点挂到同一棵树上。

一、什么是金融NLP

金融NLP（Financial Natural Language Processing）是自然语言处理技术与金融业务场景深度结合的交叉方向。它的核心任务，是把非结构化的金融文本转化为可计算、可决策的结构化信号。与通用NLP相比，金融NLP有三个显著特征：

• 领域术语密集：如"缩表""久期""可转债强赎""商誉减值"等，通用预训练模型往往理解不足。
• 对时效与准确率极度敏感：一条研报观点或监管公告的误判，可能直接对应资金损失。
• 强合规约束：数据来源、模型可解释性、留痕审计都有明确要求。

因此，金融NLP不是"通用模型换个数据集"那么简单，而是需要领域语料、领域评测和领域工程规范的完整体系。

二、发展历程：从规则到预训练再到LLM

金融NLP的演进大致可分为四个阶段，每个阶段都对应着不同的技术栈与工程范式：

理解这条主线很重要：今天我们用LLM做金融问答，但底层仍然需要NER、分类、检索等基础能力支撑。端到端项目往往是"多代技术混用"的工程组合。

三、典型应用场景

金融NLP的落地场景可以按"文本来源"和"业务目标"两个维度来梳理：

• 舆情与情绪分析：从新闻、股吧、微博中提取市场情绪，用于择时或风控预警。
• 研报与公告解析：抽取业绩预告、评级变动、风险提示等结构化字段。
• 智能投研问答：基于RAG构建可溯源的知识问答，辅助分析师快速定位信息。
• 合规与反洗钱：识别可疑交易描述、合同条款风险、监管处罚要点。
• 智能客服与投顾：意图识别、槽位填充、多轮对话，提升服务效率。

四、端到端项目整体框架

一个可交付的金融NLP项目，通常包含六个环节，形成闭环：

1. 数据采集与清洗：爬虫/API获取文本，去重、去噪、脱敏。
2. 标注与数据集构建：制定标注规范，产出训练/验证/测试集。
3. 模型训练与微调：选择基座模型，进行领域微调或提示工程。
4. 评测与迭代：用领域指标（如F1、召回率、幻觉率）评估。
5. 服务化部署：封装API，接入业务系统，做性能优化。
6. 监控与回流：线上日志监控，badcase回流再训练。

下面这张图展示了端到端框架中数据与模型的流转关系，以及各环节的关键产出物：

五、常见误区与复盘要点

复盘时可以用下面这个清单快速自检：

• 任务定义是否可量化？评测指标是否与业务目标对齐？
• 数据来源是否合规？标注规范是否覆盖边界case？
• 模型是否做过领域适配？是否对比过基线？
• 服务化后是否有监控与badcase回流机制？

下面给出一个最小可运行的数据质量检查片段，后续章节会在此基础上扩展：

import re
import pandas as pd

def clean_fin_text(text: str) -> str:
    text = re.sub(r"<[^>]+>", "", text)          # 去HTML标签
    text = re.sub(r"\s+", " ", text)              # 合并空白
    text = re.sub(r"[\u3000\xa0]", " ", text)     # 全角空格
    return text.strip()

df = pd.read_csv("news_raw.csv")
df["text_clean"] = df["text"].astype(str).map(clean_fin_text)
df = df[df["text_clean"].str.len() > 20]          # 过滤过短文本
df.drop_duplicates(subset=["text_clean"], inplace=True)
print(f"清洗后样本数: {len(df)}")