4. LLM应用开发高频题
在金融Agent工程师面试中，LLM应用开发能力是区分“会调API”和“能做产品”的分水岭。面试官不会只问你“什么是RAG”，而是会追问：“你的RAG在金融问答里召回率多少？幻觉怎么压？评估集怎么建？”本章围绕Prompt工程、RAG、微调、评估、幻觉控制五个高频方向，拆解回答框架与追问路径。
一、核心原理：五个方向不是孤立的
很多候选人把Prompt、RAG、微调当成三选一，这是典型误区。在金融Agent中，它们是一条流水线：Prompt决定指令遵循与输出格式，RAG解决知识时效与事实 grounding，微调解决领域语气与任务对齐，评估贯穿始终，幻觉控制是最终交付底线。
面试官真正想听的是：你能否根据业务约束选择技术组合。例如，金融研报问答优先RAG+Prompt，因为知识更新快、合规要求可溯源；而客服话术生成可以微调小模型，因为风格固定、成本敏感。
二、方法流程：从需求到上线的五步法
- Prompt工程：明确角色、任务、约束、输出格式。金融场景必须加“不确定时回答不知道”和“引用来源”指令。
- RAG搭建：文档解析→分块→向量化→检索→重排→拼接上下文。金融文档表格多，分块要保留表头与单位。
- 微调决策：先Prompt+RAG，效果不足再微调。微调数据来自线上badcase和人工标注，注意脱敏与合规。
- 评估体系：离线评估集+线上A/B。指标包括召回率、答案准确率、幻觉率、拒答率、响应延迟。
- 幻觉控制：检索增强、引用溯源、置信度阈值、后置校验、人工兜底。
面试表达模板：“在XX金融问答项目中，我先用Prompt约束输出格式，再用RAG接入研报库，召回率从62%提升到87%；针对幻觉，我加了引用溯源和置信度阈值，线上幻觉率从8%降到2.3%。”
三、案例/场景：金融研报问答的RAG实战
假设面试官问：“金融文档表格多、术语多，你的RAG怎么优化？”你可以这样回答：
- 分块策略：按标题层级分块，表格单独成块并保留表头，避免跨表拼接。
- 检索优化：混合检索（BM25+向量），金融术语用同义词扩展，如“营收”与“营业收入”。
- 重排：用Cross-Encoder对Top50重排，取Top5送入LLM。
- Prompt约束：要求“仅根据上下文回答，引用原文页码，不确定时明确说明”。
# 金融RAG分块配置示例
chunk_size: 512
chunk_overlap: 64
separators: ["\n## ", "\n### ", "\n\n", "\n"]
table_handling: "keep_header"
retrieval:
top_k: 50
rerank_top_n: 5
hybrid_alpha: 0.6 # 向量权重
四、误区/复盘：面试中最容易踩的坑
| 误区 | 面试官视角 | 正确做法 |
|---|---|---|
| 只讲RAG流程，没有数字 | 怀疑你没真正落地 | 给出召回率、幻觉率、延迟等具体指标 |
| 认为微调能解决幻觉 | 技术判断不成熟 | 微调改善风格，幻觉靠RAG+校验 |
| 评估只说“人工看” | 缺乏工程化思维 | 建评估集、自动化指标、线上A/B |
| 忽略金融合规 | 不适合金融岗位 | 强调溯源、脱敏、拒答、审计日志 |
复盘提醒：面试官追问“你的RAG召回率怎么算的？”如果你答不上来，会被判定为只做过Demo。建议提前准备：评估集构建方法、标注标准、指标计算公式。
加分回答：“我会把幻觉分成事实性幻觉和忠实性幻觉。事实性幻觉靠RAG和知识库校验，忠实性幻觉靠Prompt约束和引用溯源。线上用置信度阈值触发人工复核，形成badcase闭环。”
总结来说，LLM应用开发高频题的答题核心是：用业务约束驱动技术选型，用数据指标证明效果，用合规意识体现金融场景理解。把Prompt、RAG、微调、评估、幻觉控制串成一条线，你就能在面试中展现出“能落地、能优化、能兜底”的工程师形象。