专栏

时间:2019-07-09 来源: 专栏
澳门百家乐

栏目

简介:隐形T恤

在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是这是一件可以“隐身”监视的服装视频穿上这件T恤,你可以逃避监控并做一些你看不到的事情.

在现实世界中,这不完全是科幻概念。在目前的AI攻防研究中,这款监控摄像头下的“隐形T恤”已经有了特定的表现。其出现的主要原因是在考虑相关安全威胁时未充分考虑AI算法,使得AI算法的预测结果容易受到恶意攻击者的攻击,导致AI系统判断错误。

可以看出,虽然人工智能正在改变人类的命运,但它也存在安全隐患。这种安全风险可以反映在许多领域,如医疗,运输,工业,监视和政治。犯罪分子通过恶意攻击“欺骗”人工智能,甚至可能进行重大的犯罪活动,如扰乱政治选举,传播黄色骚乱和蓄意谋杀。

因此,AI安全性不容忽视,尤其是来自外部攻击造成AI模型的风险。例如,针对样本攻击,可以诱导AI模型进行错误判断并输出错误结果。本文重点讨论这个问题。

1.什么是对抗样本?

对抗性的例子最初是由Szegedy等人提出的。 [1]在2013年。它指的是这样的事实:正常的机器学习模型通过向人眼难以检测的输入图像添加小的干扰来输出不正确的预测结果。如图1所示,输入熊猫图片,正常的深度神经网络可以正确识别它为“熊猫”。然而,在添加了一层抗干扰之后,同样的深度神经网络将其识别为“鸡尾酒调酒器”,如图2所示。

b1e4eef7ca0b4041ba139fdd0469b087.jpeg

图1.正常图像识别

5e82faa1e1284adf828947a7c23ed5ae.jpeg

X`

图2.打击样本攻击

那么样本对抗的原因是什么?出现对抗样本有两个主要原因:

(1)首先,基于深度学习的神经网络模型参数有限,导致神经网络的表达能力有限,无法覆盖所有图像的可变空间。此外,目前用于训练神经网络的数据集仍然占据相对于整个自然场景图像的空间的一小部分空间,因此可能存在这样的一种样本,其非常类似于自然图像,是人眼看不到的。与他们的区别,但神经网络将错误地识别它。

(2)其次,神经网络中的高维线性变换导致样本的对抗[2]。例如,假设存在样本x和网络权重W,并且将小干扰η添加到样本x以构建对抗样本,即,对于线性变换,WTη是噪声的线性累积,当线性变换的权重W与噪声的方向η一致或在相反的情况下,两者的点积最大化或最小化,导致输出超过正常范围,最终导致神经网络预测误差。

因此,反样本不会将随机生成的噪声叠加到正常样本上以使模型识别错误,而是与模型的参数W相关。对抗样本是恶意设计用于攻击机器学习算法的样本模型。

通常,反样本攻击可分为目标攻击和非目标攻击。所谓的目标攻击,即给定目标类别,修改输入图像,以便神经网络将其识别为目标类别。如果没有目标攻击,您只需修改映像即可更改其类别。

对样本攻击的攻击也可以分为白盒攻击和黑盒攻击。白盒攻击意味着攻击者可以知道机器学习所使用的算法以及算法使用的参数。攻击者可以在生成对抗样本的过程中与机器学习系统进行交互。黑匣子攻击意味着攻击者不知道机器学习中使用的算法模型或参数。

2.如何产生对抗样本?

2.1优化目标

近年来,针对样本生成样本的算法迅速发展,并且最常使用使用模型参数来最大化模型分类损失的方法。该方法的总体分类目标可以定义为:给定模型y=f(x,W)(其中W是模型参数,x是模型输入,f(x,W)是输入到输出映射)和反样品

可以定义为:

700bd6f8c24641fcab78091bc65ea84d.jpeg

其中l(,)是损失函数,表征原始样本输出和反样本输出之间的差异。可以使用梯度上升方法来解决该最大化优化问题。

2.2 FGSM

Goodfellow等人。 [2]提出了一种称为快速梯度符号方法(FGSM)的快速优化方法,定义如下:

ebb211d38c1c4dfda5642a94a981d799.jpeg

其中t是x的类别。该方法首先计算输入的损失函数的梯度,然后取符号函数,最后加上扰动因子ε得到对抗样本。简单有效,迭代只需一步。然而,这种针对样本生成方法的白盒攻击具有较低的成功率,因为在大多数情况下,不可能通过一步迭代有效地增加损失函数。

2.3 BIM

为了解决白盒攻击成功率低的问题,Kurakin等人。 [3]提出了一种称为基本迭代法(BIM)的方法,其定义如下:

51ee168bd87640a6b771776be1405c77.jpeg

该方法通过多次迭代使损失函数最大化,并且增加了白盒模型的识别错误率。然而,BIM的黑匣子攻击成功率低于FGSM,并且移动性差,因为BIM容易在白盒模型上过度拟合。

2.4我们的方法:TAP

为了解决多步迭代方法容易过拟合的问题,我们提出了一种新的样本生成方法:可转移的对抗扰动(TAP),定义如下:

4525d3b915ff4d67b74abc3ce09a727b.jpeg

该方法主要进行两种优化:(1)增加特征距离,以最大化原始样本与样本的高级特征之间的距离; (2)增加一个常规项来消除高频噪声并保持高度机动性干扰。算法1说明了使用TAP方法生成计数器样本的详细流程:

cf3300136dec4f109673a10ed1ba625d.jpeg

图3显示了分别使用FGSM,BIM和TAP方法为Inception V3网络生成的对策样本。为了在视觉上验证反样本的影响,我们可视化黑盒模型提取的特征。详细地,我们使用Inception V3生成反样本,然后使用Inception V4提取生成的反样本并从倒数第二层提取1536维特征。接下来,我们使用t-SNE来减小1536维特征的维数以获得三维特征表示。可视化效果如图4所示。从图4可以看出,我们的方法生成的对抗样本与原始图像之间的距离大于FGSM和BIM方法生成的对抗样本之间的距离。原始图片,证明了我们的方法在Inception V3中产生的抗干扰。将以更高的概率迁移到Inception V4的特征空间。

3f17ca18f344477db965dd382906ceda.jpeg

(a)FGSM(b)BIM(d)TAP

图3.计数器样本生成示例

4d1e977857dd44a89ec16a5272e89efc.jpeg

图4. t-SNE视觉特征距离

我们关于反样本生成的相关结果已发表在ECCV 2018 [4]中,我们还在CanSecWest会议上简要介绍了这项工作。

3.如何使用对抗样本来欺骗AI?

当人工智能“失明”时,坏人会做些什么?我们使用反样本来实验多种应用,例如人脸识别,目标检测,交通指示识别和色情识别。

3.1人脸识别

在人脸识别攻击的实验中,我们试图将特朗普的画面改为默克尔,从男性变为女性。图5显示了我们在人脸识别网络上的攻击过程。具体过程如下:

步骤1.收集N个目标人物(Merkel)的人脸图像,使用人脸检测网络对人脸检测和裁剪N个图片,然后将其发送到人脸识别网络进行特征提取,得到N个特征来表示f 1,f2,f N

步骤2.对攻击图像执行面部提取,裁剪和特征提取,并获得面部特征f x;

步骤3.计算损失以测量特征相似度;

步骤4.通过梯度上升最大化损失多次迭代以生成对抗样本;

步骤5.将生成的面部对抗样本叠加到原始图片中的面部区域。

6c67f5d326ad4cfca99ac733b5ba5dce.jpeg

图5.面部识别攻击过程

我们使用多个面部识别API来测试生成的面部对抗样本。图6和图7分别显示了使用AWS名人识别[5]和Microsoft Azure [6]的识别结果,它们将修改特朗普。这张照片被确认为默克尔。

99ae31171c41472a9580eda5806bbeea.jpeg

原始图片

针对样本

图6. AWS名人识别识别结果

1e35accf8d5e4bf4844e398d844b7401.jpeg

原始图片

针对样本

图7. Microsoft Azure识别结果

3.2目标检测

我们还在目标检测网络上进行了一次攻击实验,使R-CNN更快[7]。目标检测网络将要检测的图像作为输入,并输出前景目标的坐标和类别,例如人,马,狗,汽车等。一般目标检测网络的损失函数由两部分组成:定位和分类。在这个实验中,我们只考虑了分类丢失,因为我们发现分类失败可能更有可能影响目标检测的结果。图8显示了目标检测攻击的结果。可以精确定位和分类的前景目标的坐标和类别已经改变,表明目标分类的噪声也可以迁移到目标位置。

5c09cb218d7d41e89bd5664bb9c80fd8.jpeg

(a)原始图像

92a50edf60a44a1fadb8f1c79134d607.jpeg

(b)针对样本地图

8.目标检测攻击

3.3交通标志识别

图9显示了我们对交通标志识别网络的攻击示例。目标检测和交通标志识别是自动驾驶或辅助驾驶系统中常用的两种AI技术。一旦目标检测和交通标志识别系统受到攻击,后果将是不可想象的(图10)。

ad969d50ec8e41e9a4462512bab0f63c.jpeg

图9.交通标志识别攻击

0ee9639c95b7422fa738ede1c3f7e590.jpeg

896debf0faf04a9f9a2b717a94d2ab9f.jpeg

图11. Google Cloud Porn识别结果

4.如何防止样本攻击?

针对样本攻击的AI安全防御主要分为三个阶段:数据收集阶段,模型训练阶段和模型使用阶段。图12显示了各个阶段的各种防御技术。

b99ef6e3814a49aaa4945458c80055a2.jpeg

图12.针对样本防御技术的AI安全性

对抗示例生成:此方法是指模型训练之前的数据收集阶段,使用各种已知的攻击方法和网络模型生成对抗样本作为数据的一部分。通常,针对样本生成的方法和模型类型越多,样本的变化越大,并且训练生成稳健模型的效果越好。

网络蒸馏:该方法的基本原理是在模型的训练阶段连接多个神经网络。先前大型网络的训练结果用作训练小型网络的“软标签”。相关研究[9]发现,迁移知识可以在一定程度上降低模型对小扰动的敏感性,提高AI模型的鲁棒性。

对抗训练:该方法是指在模型训练过程中将数据采集阶段产生的各种对抗样本添加到训练集中,并对模型进行单次或多次训练以产生抗干扰性。对抗模式。该方法不仅可以增强新生成模型的鲁棒性,还可以提高模型的准确性。

对抗性示例检测:该方法的基本原理是添加反样本检测模块,以确定在模型的使用阶段期间输入样本是否是计数器样本。可以在输入样本到达原始模型之前执行样本检测,或者可以从原始模型中提取信息以进行判断。例如,输入样本和正常数据之间的差异可以用作判断的标准,或者可以简单地训练基于神经网络的二进制模型以执行反样本检测。

示例重建:样本重建是指将对抗样本恢复为正常样本。在这样的转换之后,对抗样本将不会影响网络预测的结果。最常见的样本重建方法是对输入反样本进行去噪,即使用降噪网络将反样本转换为普通样本,或者直接将降噪模块添加到原始模型网络结构中。

模型验证:模型验证是指检查神经网络的属性以验证输入是否违反或满足属性要求。这种方法可以有效抵御防御性样本攻击,因为它可以检测以前从未见过的反样本攻击。

但是,上述防御措施具有特定的应用场景,无法抵御各种反样本攻击,特别是一些攻击性和前所未有的反样本攻击。此外,可以并行或串行集成多种防御方法,以增强AI模型的防御能力。目前,大多数防御方法都是针对计算机视觉中的对抗样本。随着语音等其他领域的反样本的发展,迫切需要针对这些领域的这些样本攻击的防御方法。

总结

AI拓宽了人类解决问题的界限,但它也暴露了各种安全问题。本文分析了AI系统极易受到攻击的样本,而现有的防御技术无法完全抵御此类攻击。一旦AI系统遭到恶意攻击,就会造成财产损失并威胁到人身安全。 AI应用程序的大规模普及和开发需要强大的安全保障。因此,我们需要不断提高AI安全性并提高AI算法的稳健性。安平人工智能安全研究团队将继续深化这一领域,以帮助人工智能的发展。

参考

Szegedy,Christian,et al。 “神经网络的迷人属性。”计算机科学(2013)。

Goodfellow,Ian J.J。Shlens和C. Szegedy。 “解释和利用对抗性的例子。”计算机科学(2015)。

Kurakin,Alexey,I。Goodfellow和S. Bengio。 “物质世界中的对抗性例子。” (2016)。

Zhou,W.Hou,X.Chen,Y.Tang,M.Huang,X.Gan,X。&Yang,Y。(2018)。可转移的对抗性扰动。在欧洲计算机视觉会议论文集(ECCV)(第452-467页)中。

https://console.aws.amazon.com/rekognition/home?region=us-east-1#/celebrity-detection

https://azure.microsoft.com/en-us/services/cognitive-services/computer-vision/

Ren,S.He,K.Girshick,R。& Sun,J。(2015)。更快的r-cnn:用于区域建议网络的实时t检测。在神经信息处理系统的进展中(第91-99页)。

https://cloud.google.com/vision/

Papernot,N.McDaniel,P.Wu,X.Jha,S。&斯瓦米,A。(2016年,5月)。蒸馏作为对抗深度神经网络的对抗性扰动的防御。 2016年IEEE安全与隐私研讨会(SP)(第582-597页)。 IEEE

[本文是51CTO专栏作者“腾讯科技工程”原创作者的作者,请联系原作者(微信号:腾讯_TEG)]

,看多了

频道热点
  1. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  2. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  3. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  4. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  5. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  6. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  7. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  8. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  9. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
  10. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是
新闻排行
  1. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  2. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  3. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  4. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  5. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  6. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  7. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  8. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  9. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

  10. 栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是

    栏目简介:隐形T恤在威廉吉布森的科幻小说《零历史》中有这样一个情节:有人发明了一件丑陋的T恤,神奇的是...

日期归档
友情链接