我曾在博客上写了关于「用于验证的 GAN」的文┞仿，我赞成 GAN 可以赞助生成某种意义上直接的、真实的验证输入。然则我照样困惑，认为个中的「新鲜性」是会受到限制的，所以它还不敷好。

我真正想看到的是有一个 pipeline，在它琅绫擎输入的生成是大年夜一些强行的、高阶描述中生成的。例如，推敲如下（美满是推想）内容：假设我们有一个大年夜文本到图像的神经收集，你告诉它，如今有如许一种图文接洽：「一辆车大年夜左边过来」，然后它你给出与你描述相干的图像。我描述了（在膳绫擎提到的帖子中）人们若何用一种 GAN 和一种 RNN 来处理这类工作的办法，然则很有可能它不是独一的。

如今你将获得的图像（或图像的序列）输入 Udacity 的驾驶员 DNN，你会获得一个「须要的转向角度（required-steering-angle）」输出。如今，与其（比如说）对图片添加黑色的干扰，不如对文本输入进行干扰。并且你也可以将逻辑束缚施加给文本。

如不雅这种办法奏效（很有可能），或许你还可以经由过程将另一个 DNN（它结合了多个这种文本到图像的 DNN 的输出）应用于复归并景（「一辆大年夜左边开来的车、站在右边的狗、以及方才变绿的旌旗灯号灯这三者的结合」），大年夜而在输入中实现更高的复杂度和多样性。

这个不雅点可能不会如其所述那样有效——我只是试着概述一种更接近「真实 CDV（覆盖驱动验证）」的偏向。

在 DNN 长进行有效、基于梯度的结合优化

在一篇起初的帖子里我表示我欲望机械进修可以更多地用于对智能的主动化体系的验证工作中，参阅：https://blog.foretellix.com/2017/05/25/one-shot-imitation-learning-and-verification/。个一一个来由是：

深度神经收集是基于「可微分」计算的，所以这种属性让它更轻易根据你的设法主意来进行操作。关于这一点更多的分析我将在后面的帖子中阐述。

如今，「后面的帖子」就在钠揭捉?前。我们来看看作者是如何解释他们若何计算导致缺点（error-causing）的输入的。

留意到，在高阶层面，我们的梯度计算与在练习一个 DNN 过程中履行的反向传播运算类似，然则存在一个关键的差别，即竽暌闺我们不合的是，反向传播运算将输入值作为一个常数，将权重参数作为一个变量。

人们很欲望可以或许明白灵活的限制（flexible constraint）是什么，因为这些限制让简单的修改和巨大年夜的修改都成为了可能（就像在左边开车或在公交车上画画一样），同时它们也可以完全避免不实际的改变（比如漂浮在空气中的汽车）。

换句话说，他们在用在根本上同样有效的线性代数机械（这种机械是练习和成长 DNN 去做其它工作的基本）来找出输入，这种输入将形成一个覆盖点（或一个误差，或二者都有）。

试想一下在进行惯例硬件和软件验证时有多么艰苦：比如，为了达到一条具体的误差线，你应用了很多办法，如结合大年夜量手动工作的智能随机（smart random），或者是 Concolic 生成就Concolic generation），或是（对足够小的体系而言）模型检查——你可以在这篇帖子（https://blog.foretellix.com/2016/09/01/machine-learning-for-coverage-maximization/）的文末找到相干参考文献。然则对于 DNN 而言，这相对简单一些。趁便提一句，DeepXplore 只能对静态的、状况较少的 DNN 进行申报，然则这项技巧可被扩大来处理如牵扯一个输入序列的强化进修问题。

下面是我在浏览这篇论文时看到的一些零碎的评论：

机械进修体系大年夜概可能无法零丁处理所有的安然问题：

如我在「强化进修与安然性」（https://blog.foretellix.com/2017/03/28/misc-stuff-mobileye-simulations-and-test-tracks/）中提到的一样，大年夜部分人都假设：仅靠 DNN 是无法顾及到所有安然相干的界线情况（原因有很多，比如在缺点的数据上过渡练习将会让体系偏离正常状况；再比如，你欲望经由过程浏览代率攀来说服本身你的体系相符安然规范）。是以人们须要某种不是 DNN 的「安然 wrapper」（在膳绫擎提到的文┞仿中我提到了三种如许的 wrapper）。

如不雅我说得没错，那么（假设 DeepXplore 受限于 DNN 体系），DeepXplore 就只能完成工作的一部分，对于它找出的每一个「缺点」，我们都应当把它交给另一个更大年夜的体系，然后不雅察 wrapper 是否可以将工作完成。这一切有可能很轻易，然则也不必定。

他们检查行动的方法是比较多个、或多或少不合的基于 DNN 的实现，来看它们是否吻合。这是 软件「差分测试（differential testing）」的一种扩大，其（对于你们这些来自硬件验证的仁攀来说）根本上和本来的「经由过程一个参考模型进行检查」差不多。

潜在问题：

作者答复道：

你是对的。任何真实世界的主动驾驶汽车都有某种 wrapper 来处理 DNN 可能的决定，而不是直接依附 DNN 去处理所有的缺点情况。所以，这个 wrapper 也应当是一个很好的测试目标。

关于对抗性样本：

我在《用机械进修验证机械进修？》这篇帖子里（https://blog.foretellix.com/2016/09/14/using-machine-learning-to-verify-machine-learning/）里提到了对抗性样本，我表示：

这篇文┞仿《Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples》（https://arxiv.org/pdf/1605.07277.pdf）提到了多种机械进修（深度神经收集、支撑向量机、决定计划树等等）体系中同样的欺骗性样本。最后，这篇文┞仿《EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES》测验测验解释为何欺骗性样本应当经常迁徙（transfer）到所有线性模型。此外，本文还表示，精确分类的输入只在输入空间中形成「thin manifolds」。它们被欺骗性样本环绕，然则大年夜部分输入空间都由「无效样本」构成，这些输入与练习存眷的内容完全不相干。

如不雅，在履行同样义务时，欺骗了一个深度进修实现的对抗性样本也会偏向去欺骗其它的 DNN 实现，那么可能那些缺点的样本也有才能办到同样的事。如不雅说得没错，那么经由过程在 K 实现之间进行比较的检查法就不会起感化，除非 K 异常大年夜。

对此作者答复道：

同时，我们留意到，如不雅「无效样本」的空间实际上异常巨大年夜，那么我们就须要若干将其切分成如许：即「固然不在练习中进行推敲，然则它要已经包含在琅绫擎」（就像「在左边开车」）；同时我们也要将其切分成如许：即「不因为好的原因而将颇┞峰酌进练习中」（就像「空间中的车辆，一个在另一个之上飞翔一样」）。这就回到了膳绫擎提到的那个异常艰苦的「束缚问题」。

　　推荐阅读

　　计算网络带宽需求的正确姿势

不合收集的带亢孟耋各不雷同，若何精确地计算带宽，是创建和保护一个稳定快速收集的关键环节。大年夜多半收集>>>详细阅读

本文标题：深度 | 详解首个系统性测试现实深度学习系统的白箱框架DeepXplore

地址：http://www.17bianji.com/lsqh/35834.html

 1/2    1