概述

比来大年夜半年，人工智能范畴成为科技范畴提到的最多的名词之一。在kdnuggets此前宣布的文┞仿 (Deep Learning’s Deep Flaws)’s Deep Flaws 中，深度进修大年夜神Yoshua Bengio和他的博士生、Google科学家Ian Goodfellow在评论中与作者就深度进修对抗样本(Adversarial Examples)展开了热烈的评论辩论，kdnuggets编辑邀请Ian Goodfellow撰文详解他的不雅点以及他在这方面的工作。那么什么是对抗样本，对抗样本又是若何生成的呢?

对抗样本

对抗样本(Adversarial Examples)的概念最早是Christian Szegedy 等人在ICLR2014揭橥的论文中提出来的，即在数据集中经由过程有意添加细微的干扰所形成输入样本，受干扰之后的输入导致模型以高置信度给出了一个缺点的输出。

在他们的论文中，他们发明包含卷积神经收集(Convolutional Neural Network, CNN)在内的深度进修模型对于对抗样本都具有极高的脆弱性。他们的研究提到，很多情况下，在练习集的不猴子集上练习获得的具有不合构造的模型都邑对雷同的对抗样本实现误分，这意味着对抗样本成为了练习算法的一个盲点。二将这一矛头直指深度进修，似乎要为深度进修高潮降一降温。Anh Nguyen等人在CVPR2015上揭橥的论文中，面对一些仁攀类完全无法识其余样本(论文中称为 Fooling Examples)，深度进修模型居然会以高置信度将它们进行分类，例如将噪声辨认为狮子。

防御性蒸馏仅实用于基于能量概率分布的DNN模型，是以建立通用对抗样本强大年夜的机械进修模型的重要一步。

对抗样本的根本问题

那么，导致深度模型对对抗样本力不大年夜心的┞锋实袈洵因有哪些呢?一般我们知道，可能是模型过拟合导致泛化才能不敷，泛化才能不敷可能是因为模型均化不足或者正则不足，然而，经由过程更多模型均化和参加更多噪声练习等方法来竽暌功对对抗样本的妄图均告掉败。吐一?猜测是模型的高度非线性，深度模型动辄千百万的参数个数确切让人有点不太舒畅，但 Ian Goodfellow 在论文 explaining and harnessing adversarial examples 中，经由过程在一个线性模型中参加对抗干扰，发明只要线性模型的输入拥有足够的维度(事实上大年夜部分情况下，模型输入的维度都比较大年夜，因为维度过小的输入会导致模型的精确率过低，即欠拟合)，线性模型也对对抗样本表示出明显的脆弱性，这批驳了关于对抗样本是因为模型的高度非线性的解释。

事实上，该文指出，高维空间中的线性性就足以造查对抗样本，深度模型对对抗样本的无力最重要的┞氛样因为其线性部分的存在。

如下图，展示了线性设计造成的抵抗对抗扰动的模型之间的关系。

对抗样本的应用

针对膳绫擎的问题，毫无疑问，对抗样本带来了对深度进修的质疑，但其拭魅这也供给了一个修改深度模型的机会，因为我们可以反过来应用对抗样本来进步模型的抗干扰才能，是以有了对抗练习(adversarial training) 的概念。

跟着对对抗样本研究的深刻，可以应用对抗样本生查对抗收集(GANs)。在 GANs 中，包含一个生成模型G和一个判别模型D，D要判别样本是来自G照样真实数据集，而G的目标是生成可以或许骗过D的对抗样本，可以将G看做假币临盆者，而D就是警察，经由过程G和D的赓续交手，彼此的技能都邑逐渐进步，最终使得G临盆的假币可以或许以假乱真。

对抗样本的防御

Papernot等人注解蒸馏技巧(应用概率分布作为目标练习)也可以用于大年夜大年夜降低收集对抗扰动的脆弱性。对于MNIST数据集练习的DNN，防御性蒸馏将对抗样本的成功率大年夜95.89%降低到0.45%!针对CIFAR数据集而言，成功率由87.89%降至5.11%。事实上，防御性蒸馏可以降低DNN对输入扰动的灵敏度。

以下是MNIST和CIFAR的一些示例，显示合法样本和对抗样本：

下面介绍防御性蒸馏若何工作以及其道理。推敲一般的对抗框架，起首搞清跋扈工作偏向是环绕给定的输入样本，然后应用这些信息选择输入维度之间的扰动。

如不雅梯度偏向陡峭，就会对小扰动产生很大年夜的影响。为了防止这种扰动，必须经由过程收集更好地泛化练习数据集以外的样本来腻滑练习过程中学到的模型。DNN对对抗样本的“鲁棒性”与给定样本邻域相一致地分类输入相干。

对于膳绫擎的马脚，研究提出，一方面促使人们更深刻思虑机械和人的视觉的┞锋正差别地点，一方面，加上深度模型本身具有的弗成解释性缺点，也让一些人开端认为深度进修不是deep learning, 而是deep flaw.对深度进修来说，这若干是不公平的责备，因为 kdnuggets上的一篇文┞仿(Deep Learning’s Deep Flaws)指出，深度进修对于对抗样本的脆弱性并不是深度进修所独有的，事实上，这在很多机械进修模型中都广泛存在(Box 大年夜人不就说吗，all models are wrong, but some are useful)，而深度进修反而可能是今朝为止对对抗练习最有抵抗性的技巧。如下图，原始图像以60%的置信度断定为“熊猫”，然则参加了渺小的干扰，在人眼完全看不出差其余情况下却以99%的履行度归为了长臂猿。

　　推荐阅读

　　数据和分析带来五大积极业务成果

公司在处理构造化数据方面仍然有些吃力，并须要快速应对经由过程数笔迹巧进行客户交互所带来的不稳定性。要做出及时回应，并让客户感到受到看重，只能经由过程先辈的分析技巧实现。大年夜>>>详细阅读

本文标题：一文详解深度神经网络中的对抗样本与学习

地址：http://www.17bianji.com/lsqh/34981.html

 1/2    1