2. 生成式AI在企业中的典型使用场景与风险图谱

生成式AI在企业中的落地,很少是“一个模型解决所有问题”,更常见的是围绕具体业务动作形成若干相对独立的使用场景。每个场景的输入数据、输出形态、使用者角色和失败后果都不一样,因此风险并不是均匀分布的。理解场景与风险的对应关系,是制定治理策略的前提。

五类典型场景及其数据特征

文本生成是最普遍的场景,包括公文起草、营销文案、会议纪要、邮件回复、合同初稿等。其输入通常是企业内部信息或半成品素材,输出是可直接对外或对内使用的文字。风险集中在两点:一是员工把客户名单、未公开财务数据、内部战略等粘贴进公网模型,形成数据泄露;二是模型生成的事实性内容未经核实即发布,形成幻觉与声誉风险。

代码辅助场景中,开发者使用AI补全函数、生成单元测试、解释遗留代码、转换语言。输入是源代码、接口定义、报错日志,输出是可执行代码。这里的特殊风险是知识产权:模型可能复现训练数据中的受版权保护代码片段,若企业未做相似度筛查就并入产品,可能引发许可纠纷。此外,若把核心算法或密钥硬编码进提示词,同样构成泄露。

知识问答通常以RAG(检索增强生成)形式落地,把企业文档库、制度库、产品手册作为检索源,由模型基于检索结果作答。输入是用户问题加检索到的文档片段,输出是带引用的回答。风险主要来自检索边界:若权限控制不严,员工可能通过提问间接读到本无权访问的文档;若检索不到内容,模型可能凭参数记忆编造答案,形成“有出处的幻觉”更难识别。

数据分析场景中,用户用自然语言让模型生成SQL、解释报表、总结趋势。输入是数据库表结构、字段含义和业务问题,输出是查询语句或分析结论。风险在于:模型可能生成语法正确但业务口径错误的SQL,例如把“活跃用户”错误地按登录次数统计;也可能在解释数据时把相关性说成因果性,误导经营决策。

客户交互包括智能客服、外呼话术生成、工单自动回复等。输入是客户个人信息、历史工单、产品知识,输出是直接触达客户的回复。风险最直接:一旦模型输出不当承诺、错误政策或歧视性表述,会立即转化为投诉、监管关注和品牌声誉损失;同时客户个人信息在对话中被处理,需满足告知与最小化原则。

生成式AI企业使用场景—风险图谱 场景(左)→ 关键输入 → 主要风险(右),连线表示风险归属 文本生成 公文/文案/纪要 代码辅助 补全/测试/解释 知识问答 RAG/制度/手册 数据分析 SQL/报表/趋势 客户交互 客服/外呼/工单 内部素材 / 客户信息 未公开经营数据 源代码 / 接口定义 报错日志 / 密钥 用户问题 + 检索片段 文档库权限范围 表结构 / 字段口径 业务分析问题 客户个人信息 历史工单 / 产品知识 数据泄露 敏感信息外流 知识产权 代码许可/版权 幻觉 编造事实/引用 合规 告知/最小化/审计 声誉 不当承诺/歧视 场景化治理要点 • 文本生成:脱敏后再输入, 对外内容须人工复核 • 代码辅助:禁止粘贴密钥, 合并前做相似度筛查 • 知识问答:检索权限与用户 权限一致,强制标注来源 • 数据分析:SQL需业务口径 校验,结论标注相关性 • 客户交互:设置话术边界, 敏感信息不进入提示词 共性底线: 输入最小化 · 输出可追溯 人工在环 · 权限对齐 日志留存 · 定期红队测试

风险图谱的读法:同一风险在不同场景中的权重不同

把五个场景与五类风险交叉来看,会发现风险权重并不平均。数据泄露在文本生成和客户交互中最突出,因为这两类场景的输入最容易包含个人信息和商业机密;知识产权风险几乎只在代码辅助中成为主要矛盾;幻觉在知识问答和数据分析中危害最大,因为输出会被当作“有依据的结论”使用;合规风险贯穿所有场景,但客户交互因直接触达外部主体而最敏感;声誉风险则集中在客户交互和对外文本生成。

这种权重差异决定了治理资源不应平均分配。例如,对代码辅助场景,重点应放在代码相似度检测和密钥扫描;对知识问答场景,重点应放在检索权限继承和引用可验证性;对客户交互场景,重点应放在话术护栏和实时拦截。

场景风险登记示例

下面给出一份可直接参考的场景风险登记表,用于在治理启动阶段快速盘点。表中“典型触发条件”和“优先控制”两列是实际可操作的抓手,而非泛泛描述。

场景 主要风险 典型触发条件 优先控制
文本生成 数据泄露、声誉 员工将客户名单、未公开财务数据粘贴进公网模型 输入脱敏网关 + 对外内容双人复核
代码辅助 知识产权、数据泄露 模型复现受版权保护的代码片段;密钥写入提示词 相似度筛查 + 密钥扫描 + 许可白名单
知识问答 幻觉、合规 检索无结果时模型凭记忆作答;越权检索到敏感文档 权限继承检索 + 强制引用 + 无依据拒答
数据分析 幻觉、合规 SQL口径错误导致指标失真;把相关性表述为因果 口径字典校验 + 结论措辞审查
客户交互 声誉、合规、数据泄露 模型给出超政策承诺;客户个人信息进入提示词 话术护栏 + 敏感信息过滤 + 人工兜底
场景风险登记不是一次性文档。当业务方新增一个使用场景时,应先判断它落在上述哪一类或哪几类的交叉处,再决定沿用哪套控制,而不是从零讨论。这样可以把治理从“每次重新评估”变成“按场景套用基线控制”。

从场景到控制:一个判断顺序

实际工作中,面对一个新提出的AI使用需求,可以按以下顺序判断:第一,输入里有没有个人信息、商业机密或受版权保护的材料?有则先定脱敏和权限边界。第二,输出会不会直接对外或直接进入生产系统?会则必须有人工在环或自动校验。第三,输出被当作事实使用的程度有多高?越高,越需要引用和可追溯。第四,失败后果是内部返工还是外部投诉?后者需要更严格的实时拦截。这个顺序不追求穷尽,但能帮助团队在几分钟内定位主要风险,而不是陷入无差别的担忧。

需要强调的是,场景划分本身会随技术形态变化。今天以RAG为主的知识问答,明天可能变成Agent自动调用多个系统;今天以补全为主的代码辅助,明天可能变成自动提交合并请求。治理框架需要保留“场景—风险—控制”的映射结构,使新增形态能够被快速归位,而不是每出现一个新工具就重新制定一套规则。