1. 课程导入

在金融行业，智能体（Agent）正从“能聊天的助手”快速演进为“能办事的数字员工”。它不再只是回答“什么是年化收益率”，而是可以读取账户、调用风控接口、生成投研摘要、执行合规检查，甚至在授权范围内发起交易指令。也正因为智能体开始接触真实资金、真实客户与真实监管要求，评测与失败任务诊断不再是锦上添花，而是决定其能否上线的生死线。

一、金融智能体的定义与边界

金融智能体是指以大语言模型为推理核心，具备感知、规划、工具调用、记忆与执行能力，并在金融业务约束下完成特定任务的软件系统。它与传统金融AI的区别在于：传统模型多输出“预测结果”，而智能体输出的是“行动序列”。例如，一个信贷审批智能体不仅要判断违约概率，还要调用征信接口、核对反欺诈名单、生成审批意见并写入工单系统。

理解金融智能体，需要抓住三个边界：

• 业务边界：它服务于投顾、风控、运营、合规、客服等具体场景，不能脱离业务目标空谈智能。
• 权限边界：它能调用哪些API、能读取哪些数据、能执行哪些写操作，必须有明确授权。
• 责任边界：当智能体给出错误建议或执行错误操作时，责任如何界定、如何追溯、如何回滚。

二、发展背景：为什么现在必须谈评测与失败诊断

金融智能体的爆发有三股推力：大模型推理能力提升、金融业务数字化程度加深、以及企业对降本增效的迫切需求。但与此同时，失败案例也在增加。常见的失败包括：调用错误接口导致数据污染、在多轮对话中丢失关键约束、对监管规则理解偏差、以及在压力场景下产生“幻觉式合规结论”。

这些失败往往不是单点bug，而是模型、工具、数据、流程与业务规则耦合后的系统性失效。传统软件测试可以覆盖确定性逻辑，但智能体的输出具有概率性，工具调用具有动态性，业务规则又高度依赖上下文。因此，我们需要一套专门的评测与诊断体系，把“不可解释的失败”转化为“可定位、可修复、可回归”的工程问题。

三、评测与失败诊断的重要性

在金融场景中，智能体的一次失败可能带来连锁反应。例如，投顾智能体误判客户风险等级，可能触发不当销售；风控智能体漏掉一条反欺诈规则，可能造成资金损失；合规智能体错误引用监管条款，可能引发处罚。因此，评测与诊断的价值体现在四个层面：

四、本课程学习目标与整体框架

本课程的目标是让你从“会调用智能体”进阶为“能评测、能诊断、能修复”的金融智能体工程师。具体包括：

1. 掌握金融智能体评测的指标体系与测试用例设计方法。
2. 学会使用轨迹回放、日志分析、根因定位等失败诊断技术。
3. 能够针对典型金融场景设计评测方案并输出诊断报告。
4. 建立“评测—诊断—修复—回归”的工程闭环思维。

整体框架分为四个阶段：基础认知（定义、架构、风险）、评测方法（指标、用例、自动化）、失败诊断（根因、工具、复盘）、实战落地（投顾、风控、合规等场景）。每个阶段都会配合真实案例与可运行代码片段。

# 示例：一次简单的智能体任务评测记录结构
{
  "task_id": "fin_agent_001",
  "scenario": "投顾风险等级匹配",
  "input": "客户A，年龄62，风险测评C2，询问高收益产品",
  "expected_action": "推荐R2及以下产品并提示风险",
  "actual_action": "推荐R4产品",
  "result": "FAIL",
  "failure_type": "风险约束丢失",
  "trace_id": "trace_20250101_001"
}