康奈尔大学说对抗样本可战胜,但OpenAI却并不认同!
2017年07月19日 由 nanan 发表
500963
0
现在看来,我们是真的不能对对抗样本放松警惕!
康奈尔大学在之前发表过一篇文章,表述的是当图像识别的算法应用到实际场景中时,可能就不需要担心对抗样本的问题了。他们还做了一系列的实验来证明这一观点,但结果表明,现有的对抗样本的干扰因素只在特定的场景下才适用。
就在最近几日,针对康奈尔大学的论文,OpenAI表示,他们已经生成了一些图像,能从不同的角度和大小来对神经网络识别器进行干扰。
上面所示,在经ImageNet训练的Inception v3上会被错误地识别为台式电脑。但图片仅仅放大1.002倍,也会导致图片的识别率降低。对抗样本会再不断的变化下导致失效的。
相关人员有进行设想,设想成一个不一样性质的对抗样本,因此对抗样本可以转移到显示场景中,这一设想得到验证,他们的设想是对的。
上面图片是由标准彩色打印机打印出的受到干扰的小狗的照片,不管照片怎样的旋转和缩放,都可以干扰到识别器,使显示出的图片被误认为是“台式电脑”。 OpenAI会进一步调整参数,使生成的图片可以骗过机器的对抗样本,那么就会有很大的安全性了 。
下面两幅图是另外生成的对抗样本:
(1)
图片大小无关的对抗样本
可以使用投影梯度下降法,借以找出图像微小的干扰,随意的扰乱识别器并以创建对抗样本。通过众多的识别器来调整输入图片的大小来进行优化,并产生了无关大小的对抗性样本。下图中虽然不断调整图片的大小,但仍能不间歇的干扰识别器。
(2)
无关变化的对抗样本
通过对训练干扰增加随机旋转、变化、缩放、噪音以及均值漂移,上面提到的方法对此一样可以输入对抗样本。下图是变化无关对抗样本,但受到的干扰明显增加了。最恰当的解释是:本来就微弱的对抗干扰在经过多种变换后很难在保持原来的对抗了。
实验过程中,都是随机进行采样的,不存在刻意,所生成的样本都是具有干扰性的。
论文地址:
https://arxiv.org/abs/1707.03501