1. AI安全概述:AI安全定义、AI安全威胁分类、AI安全发展历程、AI安全的重要性

1.1 到底什么是AI安全?

先聊聊定义。AI安全,说白了就是研究AI系统会不会出问题,以及怎么让它不出问题。

我个人习惯把AI安全拆成两个层面来看:

  • AI自身的安全:模型会不会被攻击?会不会泄露数据?
  • AI引发的安全:用AI去做坏事怎么办?比如深度伪造、自动化攻击。

我在项目中遇到过不少团队,只关注模型精度,完全不管安全。结果模型上线第一天就被对抗样本骗过去了。嗯,这里要注意——AI安全不是锦上添花,是底线。

核心定义:AI安全是研究AI系统在面临恶意攻击、数据污染、模型滥用等风险时,如何保持可靠、可控、可信的一门学科。

1.2 AI安全威胁分类——我习惯这么分

威胁类型很多,但别被吓到。我一般按攻击发生的阶段来归类,这样好理解:

攻击阶段 威胁类型 举个例子
数据阶段 数据投毒 训练数据里混入恶意样本,让模型学坏
训练阶段 后门攻击 模型看起来正常,但特定输入会触发恶意行为
推理阶段 对抗攻击 给图片加一点肉眼看不见的噪声,模型就认错了
部署阶段 模型窃取 通过API反复查询,把你的模型偷走
应用阶段 提示注入 对大模型输入恶意prompt,让它输出不该说的内容

你想想看,这些威胁其实每天都在发生。我曾经帮一家金融公司做安全审计,发现他们的风控模型居然能被几张精心构造的图片绕过——对抗攻击,就是这么直接。

避坑指南:我曾经以为数据投毒只是理论问题,直到亲眼看到有人往开源数据集里塞了上千条恶意样本。从那以后,我所有训练数据都要做完整性校验。

1.3 AI安全发展历程——从无人问津到人人自危

这个领域的发展,我算是亲眼见证的。简单捋一下:

  • 2014年以前:AI安全基本没人提。大家忙着刷精度,谁管你安不安全?
  • 2014-2017年:对抗样本的概念火了。我记得当时一篇论文说,给熊猫图片加一点噪声,模型就认成长臂猿了。整个圈子都炸了。
  • 2018-2020年:数据投毒、后门攻击开始被重视。工业界开始成立安全团队。
  • 2021年至今:大模型时代来了。提示注入、幻觉攻击、模型越狱……威胁面一下子扩大了好几倍。

为什么会这样?说白了,AI越强大,被滥用的风险就越高。这是技术发展的必然代价。

1.4 AI安全的重要性——不是选择题,是必答题

我经常被问到:AI安全真的那么重要吗?我的回答永远是:你想想看,如果一个自动驾驶模型被攻击了,会发生什么?

重要性体现在几个方面:

  1. 人身安全:医疗AI、自动驾驶,出问题就是人命关天。
  2. 财产安全:金融风控模型被绕过,损失可能上亿。
  3. 隐私保护:模型可能记住训练数据里的敏感信息。
  4. 国家安全:深度伪造技术已经被用于政治谣言和诈骗。

我的建议:别等到出事了再补安全。我见过太多公司,模型被攻击后才想起来找安全工程师。那时候,损失已经造成了。

嗯,这一章算是开个头。后面的内容会更深入,咱们一步步来。