1. 课程导入
欢迎进入《金融RAG知识库构建与检索实战》。在开始写第一行代码之前,我们需要先回答三个问题:为什么金融场景特别需要RAG?这套课程最终要交付什么?我们将用什么项目把知识串起来?本章不涉及复杂实现,而是帮你建立一张完整的“学习地图”,让后续29章的每一步都知道自己站在哪里、要走向哪里。
一、学习目标:学完之后你能做什么
本课程的目标不是让你“听说过RAG”,而是让你具备独立交付一个金融领域知识库问答系统的能力。具体来说,完成课程后你应当能够:
- 理解原理:说清RAG的检索—增强—生成三段式结构,以及它在金融场景中相对微调、纯提示词方案的优势与边界。
- 构建知识库:完成金融文档的解析、清洗、分块、向量化与入库,处理表格、PDF、研报等非结构化数据。
- 设计检索:掌握向量检索、关键词检索与混合检索,理解重排序(Rerank)在金融问答中的作用。
- 优化生成:能设计面向金融的提示词模板,控制幻觉、引用来源、约束合规表达。
- 评估与调优:建立检索命中率、答案忠实度等评估指标,定位并修复bad case。
- 工程落地:把原型封装为可调用的服务,理解性能、成本与数据更新的工程权衡。
一句话概括学习目标:从“会用大模型聊天”进阶到“能为一群金融从业者交付一个可信、可溯源、可维护的知识库问答系统”。
二、核心价值:为什么金融场景非RAG不可
金融行业有三个鲜明特征,决定了它不能简单依赖大模型的参数化知识。第一,知识时效性强:监管政策、财报数据、利率变动每天都在更新,而模型训练存在知识截止点。第二,答案必须可溯源:一句投资建议或合规判断,必须能指向具体文件条款,否则无法被采信。第三,容错率极低:模型“一本正经地胡说”在金融场景可能带来真实损失。
RAG(Retrieval-Augmented Generation,检索增强生成)恰好针对这三点:它把最新、最权威的文档放进外部知识库,回答时先检索再生成,让模型“看着资料说话”。相比微调,RAG的知识更新只需替换文档,成本低、可解释、可审计;相比纯提示词,它能突破上下文长度限制,接入海量私有资料。
三、整体课程框架:30章如何层层递进
课程按“认知—构建—检索—生成—评估—工程”六段式推进,每一段都围绕实战项目展开,而不是孤立地讲工具。下表给出整体框架与各阶段的核心产出。
| 阶段 | 章节范围 | 核心内容 | 阶段产出 |
|---|---|---|---|
| 认知奠基 | 第1–4章 | RAG原理、金融场景适配、技术选型、环境搭建 | 可运行的最小RAG原型 |
| 知识库构建 | 第5–12章 | 文档解析、清洗、分块策略、向量化、入库 | 金融文档向量知识库 |
| 检索优化 | 第13–19章 | 向量检索、关键词检索、混合检索、Rerank | 高命中率检索模块 |
| 生成与合规 | 第20–24章 | 提示词设计、引用溯源、幻觉抑制、合规表达 | 可信问答生成模块 |
| 评估与调优 | 第25–27章 | 评估指标、测试集构建、Bad Case定位 | 可量化的评估报告 |
| 工程落地 | 第28–30章 | 服务封装、性能成本优化、数据更新与运维 | 可交付的问答服务 |
四、实战项目介绍:一个金融研报问答助手
贯穿全课程的项目是“金融研报问答助手”。它接收用户关于上市公司、基金、行业政策的自然语言提问,从一批研报与公告中检索依据,生成带来源引用的回答。项目刻意选择金融文档,是因为它同时具备表格密集、术语专业、时效敏感、合规要求高等难点,能把RAG的典型问题一次性暴露出来。
项目的基本数据流如下,后续章节会逐步替换其中的每个环节:
用户提问
→ 查询改写(可选)
→ 向量检索 + 关键词检索
→ Rerank 重排序
→ 拼接上下文 + 提示词模板
→ 大模型生成
→ 答案 + 来源引用
→ 评估与反馈
学习建议:不要等所有知识学完再动手。建议每学完一个阶段,就把该阶段能力接入项目,哪怕只是替换一个分块策略或换一个检索方式。RAG的很多问题只有在真实数据上跑起来才会显现。
五、常见误区与复盘提醒
初学者在金融RAG上最容易踩的坑,往往不是代码写错,而是方向选错。以下四个误区请提前建立警觉:
- 误区一:以为RAG就是“向量数据库+大模型”。实际上分块策略、检索质量、提示词约束对最终效果的影响,常常大于换一个更强的模型。
- 误区二:忽视金融文档的表格与结构。财报和研报中大量关键信息在表格里,粗暴按字数切分会破坏语义,导致检索到却答不对。
- 误区三:只关注生成,不关注检索。检索没召回正确片段,再强的模型也只能编。评估必须从检索环节开始。
- 误区四:把“答得像”当成“答得对”。金融场景要的是可溯源、可验证,答案必须能指回原文,而不是语言流畅。
复盘提醒:每完成一个模块,请用同一组测试问题回归验证。RAG系统是链路系统,任何一环改动都可能影响整体效果,没有回归测试的优化等于盲调。
本章建立了课程的整体认知:我们明确了学习目标,理解了RAG在金融场景不可替代的价值,看到了30章的递进框架,也认识了贯穿全程的研报问答项目。接下来,我们将正式进入RAG的核心原理,把“检索—增强—生成”这条链路拆开看清楚。