1. 课程导入
欢迎进入《金融RAG幻觉检测与可信度评测实战》。在金融场景中,RAG(Retrieval-Augmented Generation,检索增强生成)被广泛用于研报问答、财报解读、合规咨询、投顾辅助与风控知识检索。但金融文本具有数字密集、口径严格、时效敏感、监管约束强等特点,一旦模型生成看似合理却与事实不符的内容,就可能被误读为投资依据或合规结论。因此,本课程的第一目标不是“让RAG更会说话”,而是“让RAG在金融语境下更可信、更可验证、更可追责”。
一、学习目标:从“能答”走向“可信可证”
本课程围绕三个层次展开。第一层是认知层:理解金融RAG幻觉的成因、类型与风险边界,能区分事实性幻觉、数值性幻觉、引用性幻觉、时效性幻觉与逻辑性幻觉。第二层是方法层:掌握检索质量评估、生成一致性检测、引用溯源、置信度校准与人工复核机制。第三层是工程层:能够搭建一套可运行的幻觉检测与可信度评测流水线,对金融问答结果进行自动打分、归因分析与可视化报告输出。
- 识别能力:能定位幻觉发生在检索、重排、生成还是后处理环节。
- 评测能力:能设计金融领域的可信度指标,如事实一致率、引用命中率、数值偏差率、拒答准确率。
- 工程能力:能使用Python、向量库、评测框架与日志系统完成端到端检测。
- 复盘能力:能根据bad case反推检索策略、提示词与模型参数的改进方向。
二、核心概念:金融RAG幻觉与可信度评测
金融RAG幻觉,指模型在回答金融问题时,生成了与检索证据、原始披露文件或客观事实不一致的内容。它不一定表现为“胡编乱造”,更多时候是“局部正确、整体误导”,例如把2023年营收写成2022年数据,把“同比下降”写成“同比增长”,或引用不存在的公告编号。可信度评测则是用可重复的指标与流程,对答案的真实性、可溯源性、时效性与风险等级进行量化判断。
关键公式化理解:可信度 = 事实一致性 × 引用可溯源性 × 时效匹配度 × 风险可控性。任一维度接近零,整体可信度都会显著下降。
在金融场景中,评测对象不仅是最终答案,还包括检索到的证据片段、模型引用的来源、答案与证据的蕴含关系,以及模型在证据不足时是否选择拒答。因此,可信度评测是一个覆盖“检索—生成—引用—复核”的全链路问题。
三、整体框架:四层检测与评测体系
本课程采用“四层架构”组织内容:数据与证据层、检索与重排层、生成与引用层、评测与治理层。数据与证据层负责金融文档解析、表格抽取、时间戳与来源标注;检索与重排层关注召回率、精确率与证据覆盖度;生成与引用层检测答案是否被证据支持、引用是否真实存在;评测与治理层则完成指标计算、阈值告警、人工抽检与持续迭代。
四、实战路线图:从环境搭建到可信度报告
课程实战路线分为六个阶段。第一阶段完成金融语料准备与向量库搭建;第二阶段实现基础RAG问答链路;第三阶段加入引用溯源与证据绑定;第四阶段构建幻觉检测器,包括事实一致性、数值偏差与引用真实性检查;第五阶段建立可信度评分与阈值告警;第六阶段完成bad case复盘与系统调优。每个阶段都配有可运行代码与评测脚本。
| 阶段 | 核心任务 | 关键产出 | 常用工具/指标 |
|---|---|---|---|
| 1. 语料与向量库 | 解析财报、公告、研报,切分并入库 | 结构化证据库 | PDF解析、Embedding、FAISS/Milvus |
| 2. 基础RAG链路 | 召回、重排、生成、返回答案 | 可运行问答原型 | LangChain、LlamaIndex、Prompt模板 |
| 3. 引用溯源 | 答案与证据片段绑定,标注来源 | 可追溯答案 | 引用命中率、来源覆盖率 |
| 4. 幻觉检测 | 事实一致性、数值校验、引用真实性 | 幻觉检测报告 | NLI、规则校验、LLM-as-Judge |
| 5. 可信度评分 | 多指标加权,阈值告警 | 可信度分数与风险等级 | 事实一致率、数值偏差率、拒答准确率 |
| 6. 复盘调优 | bad case归因,迭代检索与提示词 | 优化后的RAG系统 | 错误分类、A/B测试、回归评测 |
五、典型场景与常见误区
典型场景包括:上市公司财报问答、监管政策解读、投研报告摘要、风险事件追踪。以财报问答为例,用户问“某公司2023年净利润同比增长多少”,系统必须检索到正确年度、正确口径的财务数据,并在答案中给出引用来源。如果检索到的是2022年数据,或模型自行计算错误,就会产生数值性幻觉。
常见误区一:只关注答案流畅度,不检查引用是否真实存在。
常见误区二:用通用评测集评估金融RAG,忽略金融术语、口径与时效特殊性。
常见误区三:把“模型说不知道”视为失败,实际上在证据不足时拒答是可信度的重要表现。
常见误区四:只做一次性评测,不建立持续回归与告警机制。
学习建议:每学完一个模块,立即用一个小型金融问答集做验证。建议准备至少50条带标准答案与证据来源的测试问题,覆盖数值、日期、主体、因果关系与引用五类风险点。只有把评测集建起来,后续的检测与优化才有客观依据。
本章作为课程导入,已经明确了学习目标、核心概念、四层框架与六阶段实战路线。接下来你将进入具体环境搭建与金融语料处理环节,逐步把“可信RAG”从理念变成可运行、可评测、可复盘的工程系统。