3. RAG技术概述
在制造知识库问答场景中,大语言模型虽然具备强大的语言理解与生成能力,但它存在两个致命短板:一是知识截止,无法回答训练数据之后发生的新工艺、新设备、新标准问题;二是容易产生幻觉,在缺乏依据时编造看似合理却错误的答案。检索增强生成(Retrieval-Augmented Generation,RAG)正是为解决这两个问题而提出的工程范式。它的核心思想是:在生成答案之前,先从外部知识库中检索出与问题相关的证据片段,再将这些片段作为上下文交给大模型,让模型基于真实资料作答,而不是仅凭参数记忆。
一、RAG的定义与核心原理
RAG可以形式化地理解为一个条件生成过程:给定用户问题 q,系统从知识库 D 中检索出最相关的文档片段集合 C = {c1, c2, ..., ck},然后将 q 与 C 拼接成提示词,交给生成模型 G,最终输出答案 a = G(q, C)。与纯生成模型相比,RAG把“知识存储”从模型参数中解耦出来,交给可更新、可审计、可追溯的外部索引。这意味着当制造标准更新时,只需重新索引文档,而不必重新训练模型。
二、发展脉络:从开放域问答到工程化RAG
RAG的概念最早在2020年前后被系统提出,最初用于开放域问答任务,将稠密检索器与序列生成模型联合训练。随后几年,RAG经历了几个明显阶段:早期以“检索+拼接+生成”的朴素流程为主;中期引入向量数据库、近似最近邻搜索和重排序模型,提升检索质量;近期则向多路召回、查询改写、上下文压缩、自适应检索和Agent化方向演进。在制造领域,RAG的落地还叠加了行业特有的需求:图纸、工艺卡、BOM、维修记录、标准规范等多模态、多格式知识的统一接入。
三、核心组件:一条完整的RAG流水线
一个可用的RAG系统通常包含以下核心组件:
- 文档解析与切分:将PDF、Word、Excel、图纸说明等解析为纯文本,并按语义或固定长度切分为片段。
- 嵌入模型:将文本片段和用户问题映射为同一向量空间中的稠密向量。
- 向量索引与检索器:使用向量数据库存储嵌入,支持相似度检索;也可结合BM25等关键词检索做混合召回。
- 重排序器:对初步召回的候选片段进行精细打分,把最相关的片段排到前面。
- 生成模型:接收问题与上下文,生成有依据的答案,并尽量引用来源。
- 编排与评估:负责提示词模板、上下文窗口管理、答案质量评估与反馈闭环。
下面这张图展示了制造知识库RAG的典型数据流与组件关系:
四、与传统问答和微调方法的对比
理解RAG的价值,最有效的方式是与传统问答系统和微调方法进行对比。传统问答系统通常依赖规则模板或关键词匹配,覆盖面窄、维护成本高;微调方法通过标注数据更新模型参数,能让模型学会特定任务风格,但知识更新代价大、容易遗忘、且难以追溯答案来源。RAG则在知识更新、可解释性和成本之间取得了更好的平衡。
| 对比维度 | 传统问答系统 | 微调方法 | RAG |
|---|---|---|---|
| 知识更新 | 需人工改规则,慢 | 需重新训练,代价高 | 重新索引文档即可,快 |
| 答案可追溯 | 弱,依赖规则 | 弱,知识在参数中 | 强,可引用原文片段 |
| 幻觉控制 | 不涉及生成 | 仍可能幻觉 | 有证据约束,显著降低 |
| 冷启动成本 | 低但覆盖差 | 高,需标注数据 | 中,需建索引与调优 |
| 适合场景 | 固定FAQ | 风格迁移、分类 | 动态知识库问答 |
五、制造场景案例:工艺参数问答
假设某车间工人询问:“铝合金6061在T6状态下的推荐切削速度是多少?”纯生成模型可能给出一个泛泛的数值,甚至编造。而RAG系统会先从工艺卡和切削手册中检索出包含“6061-T6”“切削速度”“刀具材料”等信息的片段,再让模型基于这些片段回答,并附上来源文档编号。这样既保证了答案的准确性,也方便工艺员复核。对于设备故障排查,RAG还能把维修记录、报警代码手册和专家经验整合起来,形成可追溯的排障建议。
六、常见误区与复盘
- 误区一:RAG等于向量检索。实际上,混合召回、重排序、查询改写和上下文压缩都会显著影响最终效果。
- 误区二:切得越碎越好。切分过碎会丢失上下文,切分过大则引入噪声。需要根据文档类型做语义分块。
- 误区三:有了RAG就不会幻觉。如果检索不到相关证据,模型仍可能自由发挥。应设置“无证据则拒答”策略。
- 误区四:忽略评估。需要建立检索命中率、答案忠实度、引用准确率等指标,持续迭代。
# 一个简化的RAG检索配置示例
retriever:
type: hybrid # 向量 + BM25 混合召回
top_k: 20 # 初步召回候选数
rerank_top_k: 5 # 重排序后保留片段数
metadata_filter:
- doc_type: process_card
- equipment_model: CNC-01
generator:
model: qwen-72b
temperature: 0.1 # 降低随机性,强调忠实
prompt: |
仅根据以下证据回答问题,若证据不足请回答“资料中未找到依据”。
证据:{context}
问题:{question}
总结来看,RAG不是单一技术,而是一套围绕“检索—增强—生成”构建的工程体系。它让制造知识库中的标准、工艺、设备和经验能够被大模型安全、准确、可追溯地调用。对于知识密集、更新频繁、容错率低的制造行业,RAG是当前最具性价比的落地路径之一。