2. 生成式AI在企业中的典型使用场景与风险图谱
生成式AI在企业中的落地,很少是“一个模型解决所有问题”,更常见的是围绕具体业务动作形成若干相对独立的使用场景。每个场景的输入数据、输出形态、使用者角色和失败后果都不一样,因此风险并不是均匀分布的。理解场景与风险的对应关系,是制定治理策略的前提。
五类典型场景及其数据特征
文本生成是最普遍的场景,包括公文起草、营销文案、会议纪要、邮件回复、合同初稿等。其输入通常是企业内部信息或半成品素材,输出是可直接对外或对内使用的文字。风险集中在两点:一是员工把客户名单、未公开财务数据、内部战略等粘贴进公网模型,形成数据泄露;二是模型生成的事实性内容未经核实即发布,形成幻觉与声誉风险。
代码辅助场景中,开发者使用AI补全函数、生成单元测试、解释遗留代码、转换语言。输入是源代码、接口定义、报错日志,输出是可执行代码。这里的特殊风险是知识产权:模型可能复现训练数据中的受版权保护代码片段,若企业未做相似度筛查就并入产品,可能引发许可纠纷。此外,若把核心算法或密钥硬编码进提示词,同样构成泄露。
知识问答通常以RAG(检索增强生成)形式落地,把企业文档库、制度库、产品手册作为检索源,由模型基于检索结果作答。输入是用户问题加检索到的文档片段,输出是带引用的回答。风险主要来自检索边界:若权限控制不严,员工可能通过提问间接读到本无权访问的文档;若检索不到内容,模型可能凭参数记忆编造答案,形成“有出处的幻觉”更难识别。
数据分析场景中,用户用自然语言让模型生成SQL、解释报表、总结趋势。输入是数据库表结构、字段含义和业务问题,输出是查询语句或分析结论。风险在于:模型可能生成语法正确但业务口径错误的SQL,例如把“活跃用户”错误地按登录次数统计;也可能在解释数据时把相关性说成因果性,误导经营决策。
客户交互包括智能客服、外呼话术生成、工单自动回复等。输入是客户个人信息、历史工单、产品知识,输出是直接触达客户的回复。风险最直接:一旦模型输出不当承诺、错误政策或歧视性表述,会立即转化为投诉、监管关注和品牌声誉损失;同时客户个人信息在对话中被处理,需满足告知与最小化原则。
风险图谱的读法:同一风险在不同场景中的权重不同
把五个场景与五类风险交叉来看,会发现风险权重并不平均。数据泄露在文本生成和客户交互中最突出,因为这两类场景的输入最容易包含个人信息和商业机密;知识产权风险几乎只在代码辅助中成为主要矛盾;幻觉在知识问答和数据分析中危害最大,因为输出会被当作“有依据的结论”使用;合规风险贯穿所有场景,但客户交互因直接触达外部主体而最敏感;声誉风险则集中在客户交互和对外文本生成。
这种权重差异决定了治理资源不应平均分配。例如,对代码辅助场景,重点应放在代码相似度检测和密钥扫描;对知识问答场景,重点应放在检索权限继承和引用可验证性;对客户交互场景,重点应放在话术护栏和实时拦截。
场景风险登记示例
下面给出一份可直接参考的场景风险登记表,用于在治理启动阶段快速盘点。表中“典型触发条件”和“优先控制”两列是实际可操作的抓手,而非泛泛描述。
| 场景 | 主要风险 | 典型触发条件 | 优先控制 |
|---|---|---|---|
| 文本生成 | 数据泄露、声誉 | 员工将客户名单、未公开财务数据粘贴进公网模型 | 输入脱敏网关 + 对外内容双人复核 |
| 代码辅助 | 知识产权、数据泄露 | 模型复现受版权保护的代码片段;密钥写入提示词 | 相似度筛查 + 密钥扫描 + 许可白名单 |
| 知识问答 | 幻觉、合规 | 检索无结果时模型凭记忆作答;越权检索到敏感文档 | 权限继承检索 + 强制引用 + 无依据拒答 |
| 数据分析 | 幻觉、合规 | SQL口径错误导致指标失真;把相关性表述为因果 | 口径字典校验 + 结论措辞审查 |
| 客户交互 | 声誉、合规、数据泄露 | 模型给出超政策承诺;客户个人信息进入提示词 | 话术护栏 + 敏感信息过滤 + 人工兜底 |
从场景到控制:一个判断顺序
实际工作中,面对一个新提出的AI使用需求,可以按以下顺序判断:第一,输入里有没有个人信息、商业机密或受版权保护的材料?有则先定脱敏和权限边界。第二,输出会不会直接对外或直接进入生产系统?会则必须有人工在环或自动校验。第三,输出被当作事实使用的程度有多高?越高,越需要引用和可追溯。第四,失败后果是内部返工还是外部投诉?后者需要更严格的实时拦截。这个顺序不追求穷尽,但能帮助团队在几分钟内定位主要风险,而不是陷入无差别的担忧。
需要强调的是,场景划分本身会随技术形态变化。今天以RAG为主的知识问答,明天可能变成Agent自动调用多个系统;今天以补全为主的代码辅助,明天可能变成自动提交合并请求。治理框架需要保留“场景—风险—控制”的映射结构,使新增形态能够被快速归位,而不是每出现一个新工具就重新制定一套规则。