2. 设计原则一

2.1 用户场景与业务问题

产品团队在接入AI能力时,最常见的信任断裂发生在以下三类场景:

场景 典型业务问题 后果
客服摘要生成 模型输出了摘要,但客服主管无法确认摘要依据了对话中的哪几句关键信息 摘要不被采信,人工重读全量对话,效率归零
风险审批决策 模型判定“拒绝贷款”,但风控经理看不到是哪些特征触发了拒绝 合规风险上升,业务方拒绝上线
智能问答机器人 用户问“我的订单为什么没到”,模型回答“预计3天内送达”,但用户想知道的是“具体卡在哪个环节” 用户反复追问,满意度下降,客服转接率升高
核心矛盾:模型以黑盒方式输出结果,而业务决策链需要“可知、可溯、可干预”的信息透明度。缺乏可解释性直接导致用户不敢用、不愿用、不能用。

2.2 用户访谈关键发现

针对3类角色(业务审批者、一线操作员、最终用户)共12场深度访谈,提炼出以下核心诉求:

  • 业务审批者:“我不需要知道模型内部的所有数学公式,但我必须知道它用了哪几个字段做出了判断。”
  • 一线操作员:“当模型输出错误时,我需要能快速定位是哪条输入特征出了问题,才能向客户解释。”
  • 最终用户:“AI回答的时候,能不能告诉我它的信息是从哪里来的?是实时数据还是历史统计?”
产品启示:可解释性不是“展示模型权重”,而是展示业务语义级别的推理路径。用户需要的是决策依据,而非算法原理。

2.3 需求拆解

将用户诉求转化为可落地的功能需求,拆解为三个层级:

层级 需求描述 优先级
L1: 结果溯源 展示模型输出所依据的核心输入特征或原文片段 P0
L2: 边界声明 在交互入口处明确告知模型的能力范围、知识截止日期、不支持的业务类型 P0
L3: 预期管理 对于不确定性较高的输出,附加置信度标签或“建议人工复核”提示 P1

2.4 方案表达——透明度设计三要素

围绕上述需求,在产品原型中落地三项核心设计:

2.4.1 推理引用高亮

模型输出摘要或结论时,在原文中对应位置添加底色高亮标记,点击结论可跳转至原文位置。适用于客服摘要、文档总结、合同审查等场景。

# 原型交互逻辑示例(伪代码)
def on_summary_click(summary_sentence):
    source_id = summary_sentence.attribution.source_id
    highlight_range = summary_sentence.attribution.char_span
    scroll_to_source(source_id, highlight_range)

2.4.2 能力边界标签

在对话输入框、API调用文档、模型输出区域等关键触点,展示结构化边界说明:

边界类型 展示方式 示例文案
知识时效 固定标签 + 悬停提示 📅 知识截止:2025年3月
业务范围 侧边栏列表 ✅ 支持:订单查询 / 退换货指引
❌ 不支持:价格谈判 / 投诉仲裁
确定性等级 输出附加徽章 🟢 高置信度 / 🟡 中等置信度 / 🔴 建议人工复核

2.4.3 决策因子可视化

在风险审批、推荐排序等需要展示多因素决策的场景,使用结构化的因子贡献图展示各特征对结果的影响方向与强度。

透明度与可解释性设计框架 透明度与可解释性——三要素设计框架 用户场景识别 推理引用高亮 能力边界标签 决策因子可视化 业务信任建立 决策效率提升 验收标准 每条输出可追溯到输入特征 / 边界声明覆盖率100% / 用户误判率降低≥40%

2.5 指标验证

通过以下定量与定性指标验证透明度设计是否达成目标:

指标名称 计算方式 目标值 采集时机
溯源点击率 点击溯源操作数 / 模型输出总次数 ≥ 35% 灰度期每日统计
边界认知准确率 用户正确识别模型能力边界的比例(通过问卷测试) ≥ 80% 上线前 & 上线第1周
误判回流率 因模型输出不透明导致的人工复核量 / 总输出量 降低 ≥ 40% 对比基线周
用户信任NPS “您是否信任模型的判断依据?”(1-5分) ≥ 4.0 体验后即时调研

2.6 验收标准

产品原型通过验收必须满足以下全部条件:

  1. 溯源功能验收:在覆盖范围内(摘要/分类/风险判定)的模型输出均支持点击溯源,且定位准确率 ≥ 98%。
  2. 边界声明验收:所有面向用户/调用方的交互入口(对话框、API文档、嵌入卡片)均包含能力边界标签,覆盖率100%。
  3. 置信度标识验收:置信度低于0.7的输出自动附加“建议人工复核”提示,触发正确率 ≥ 95%。
  4. 极端情况处理:当模型无法给出解释(如特征丢失)时,必须展示“当前无法解释”的标准化占位文案,不得留空或报错。

2.7 交付物模板

本章对应的直接交付物为《AI透明度设计规格说明书》,包含以下核心节:

章节 内容要求 产出格式
1. 溯源映射表 列出每个模型输出字段对应的输入特征 / 原文位置规则 表格 + 交互原型链接
2. 边界声明矩阵 按业务场景列举能力范围、不支持类型、演示话术 矩阵表格 + 界面标注图
3. 置信度策略配置 置信度阈值、标签样式、人工兜底流程 策略描述 + 流程图
4. 验收测试用例 覆盖正例、反例、边界条件的测试脚本 测试用例表(含预期结果)
常见返工点:溯源跳转只做了“文字标记”而没有“锚点滚动”,导致用户仍需手动翻找原文。请在原型阶段使用带定位功能的交互组件,避免开发实现时降级。