1. 课程导入

在金融业务中,大模型应用的第一道门槛往往不是“能不能回答”,而是“回答是否可信、可追溯、可复盘”。检索增强生成(RAG)通过引入外部知识库,让模型在回答时能够引用研报、公告、财报、监管文件等权威材料,从而显著降低幻觉风险。但金融场景对准确性、时效性、合规性和可解释性的要求远高于一般问答,仅仅“接上向量库”远远不够。一个真正可上线的金融RAG系统,必须同时具备可观测性与失败诊断能力:前者让我们知道系统正在发生什么,后者让我们在答案出错时快速定位是检索、排序、生成还是数据本身的问题。

一、金融RAG系统的基本概念

RAG的经典链路可以概括为“离线索引 + 在线检索 + 增强生成”三段。离线阶段将金融文档切分为片段,经嵌入模型转为向量并写入向量数据库;在线阶段将用户问题转为查询向量,召回Top-K片段,再经过重排序、过滤与上下文组装,最终由大模型生成带引用的回答。金融场景的特殊性在于:文档结构复杂(表格、脚注、跨页条款)、术语密集、时效敏感、合规约束强,且用户往往要求“给出处”。因此,金融RAG不是单一模型问题,而是一个由数据、检索、模型、编排、监控共同构成的系统工程。

核心认知:RAG的失败很少是单点故障。一个错误答案可能源于文档切分破坏了语义、嵌入模型对金融术语不敏感、召回阶段漏掉了关键公告、重排序把噪声排到前面、上下文超长导致关键信息被截断,或生成模型过度概括。可观测性就是把这些环节的“中间状态”暴露出来。

二、可观测性与失败诊断的学习目标

本课程的学习目标不是教会大家“调一个参数”,而是建立一套可复用的诊断方法论。具体包括:

  • 理解链路:能够画出金融RAG的完整数据流与信号流,明确每个环节的输入、输出与关键指标。
  • 建立指标:掌握检索命中率、召回率、MRR、上下文相关性、答案忠实度、引用准确率等核心指标的定义与采集方式。
  • 定位故障:面对“答非所问”“张冠李戴”“引用错误”“时效过期”等典型失败,能够按分层排查法快速缩小范围。
  • 设计实验:能够构造金融领域的评测集,用A/B对比验证切分策略、嵌入模型、重排序器和提示词的效果。
  • 落地监控:能够设计日志、追踪与告警方案,让系统在线上持续可观测、可回归。

三、整体课程框架与学习路径

课程共30章,按“概念—链路—指标—诊断—优化—实战”递进组织。前段建立金融RAG与可观测性的共同语言;中段深入检索、排序、生成各环节的观测点与失败模式;后段通过真实案例复盘,训练从现象到根因的定位能力。学习路径建议如下:

阶段核心内容学习产出
基础认知金融RAG架构、可观测性三支柱、失败分类能绘制链路图并标注观测点
链路观测切分、嵌入、召回、重排、生成各环节指标能采集并解读关键指标
诊断方法分层排查、对照实验、根因分析能定位典型失败案例
优化实战策略调优、评测集构建、线上监控能完成端到端改进闭环

下图展示了金融RAG从用户提问到答案输出的核心链路,以及每个环节对应的可观测信号。请重点关注“检索—重排—生成”三段中,哪些中间结果可以被记录、被度量、被回放。

金融RAG核心链路与可观测信号 用户提问 意图/时效/合规 查询改写 术语扩展/时间过滤 向量召回 Top-K/相似度 重排序 相关性/去噪 生成回答 引用/忠实度 可观测信号层 查询日志 · 召回列表 · 相似度分布 · 重排分数 · 上下文长度 · 引用映射 · 生成延迟 · 用户反馈 追踪ID贯穿全链路,支持单次请求回放与失败样本归因 检索类失败 漏召/错召/时效过期 生成类失败 幻觉/过度概括/引用错 工程类失败 超时/截断/版本漂移

四、典型场景与常见误区

设想一个真实场景:用户询问“某上市公司2024年第三季度净利润同比变化”,系统回答了一个看似合理但实际来自2023年旧研报的数字。表面看是“生成错误”,但排查后发现:查询改写未加入时间过滤,向量召回把旧文档排在前列,重排序器又因语义相似度高而保留,最终模型忠实引用了错误上下文。这个案例说明,答案错误只是症状,链路中间状态才是诊断依据。

常见误区一:只看最终答案。没有中间日志,就无法区分“检索没找到”和“找到了但生成没用”。
常见误区二:把可观测性等同于加监控大盘。大盘能发现异常,但定位根因需要单请求级别的追踪与回放。
常见误区三:用通用评测集衡量金融RAG。金融术语、时效和合规要求特殊,必须构建领域评测集。
常见误区四:一次调优就上线。数据、模型、提示词都会漂移,需要持续回归与告警。

五、从今天开始建立诊断思维

后续章节将逐层展开:先讲清金融文档切分与索引的观测点,再深入召回与重排的指标设计,然后进入生成阶段的忠实度与引用校验,最后通过多个失败案例复盘,训练“现象—假设—验证—根因—修复”的闭环能力。学习时请始终带着三个问题:这个环节的输入输出是什么?哪些信号可以被记录?如果这里出错,现象会是什么?把这三个问题贯穿全课程,你就能从“会搭RAG”进阶为“能治RAG”。

本节小结:金融RAG的可观测性不是附加功能,而是系统可信度的基础设施。失败诊断的核心在于分层定位:先确认数据与检索,再检查重排与上下文,最后审视生成与引用。建立追踪ID、记录中间结果、构建领域评测集,是后续所有优化工作的起点。