图6：练习后MLP模型中数据表示随层次的演变可视化

经由过程将多个投影图结合起来不雅察，还可以研究模型中数据表示的动态变更过程。图6中，左侧4张小图展示的是MLP在每个隐含层之后，数据表示的投影情况。右侧大年夜图则将同一数据点不合层的表示用曲线连接了起来，悠揭捉?色表示层间先后关系。作者同时采取边绑缚技巧来削减视觉纷乱。大年夜图中可以很轻易地看到跟着层次的演进，数据中类内部的一致性和类间的区分性获得了强化。在图中还能看到一些异常的轨迹，他们的表示在模型中产生了比较激烈的变更，可能对应一些错分类的数据。经由过程类似的办法，还能看到在练习过程中，每次迭代之后，数据的表示是若何变更的。大年夜中也能不雅察到类似的类内部的一致性和类间的区分性的强化效不雅，具体请拜见原文。

图7：练习前后CNN收集的数据表示投影图与神经元投影图

接着，作者研究神经元间的关系，即第二个义务。图7中，分别展示了练习前、后数据表示的投影图和神经元权重关系的投影图。作者起首在练习后的数据表示投影图中选择了对应数字8的数据点，在神经元投影图中，对这部分数据具有高激活的神经元被高亮。可以看到，这些神经元根本形成了一个聚类，也就是说它们之间比较类似。而这些神经元在练习前则是分散在了投影空间中。由此可见，跟着练习的进行，这些神经元逐渐被特化成专门用于分辨数字8的“专家”，并且逐渐变得类似。

图8：根据激活类别和程度着色的神经元投影图和数据表示投影图

在图8左侧图中，作者直接根据每个神经元最易激活的类别对它们进行着色。个中，编号460的神经元最轻易对数字3产生高激活值。在对应的数据表示投影图上，我们能看到被这个神经元激活的数据点重要对应“淡色背景上的深色数字3”这一聚类。但同时，有一部分属于数字5的数据点也有较高的激活值。这意味着，尽管这个神经元比较善于辨认数字3，但在一些数字5的数据上也会产生缺点。经由过程类似的分析办法，研究者可以懂得神经元的行动铀浇猾，这也是神经收集研究中的一个异常重要的问题。

总结起来，作者应用降维的办法摸索了深度神经收集中数据表达之间的关系和神经元之间的关系。作者应用的可视化技巧比较简荡竽暌闺直接。但在面对这一类数据上照样取得了很多的发明，个中有些照样没有被已有工作进步过的未知发明，并且还能借居赞助进步模型机能。

【编辑推荐】

1. 流式大年夜数据及时处理技巧、平台及应用
2. 分析10个垂直行业，告诉你大年夜数据应用面对哪些挑衅
3. 解读：大年夜数据分析及其数据来源
4. 我们分析了10个垂直行业，告诉你大年夜数据应用面对哪些挑衅
5. 揭秘10个大年夜数据神话

【义务编辑：庞桂玉 TEL：（010）68476606】

　　推荐阅读

　　Facebook开源VoiceLoop，根据开放场景语音文字合成新语音

代码地址：https://github.com/facebookresearch/loop 【编辑推荐】大年夜微信、facebook定义的“人口”看即时通信的将来VR计谋:Facebook和谷歌到底谁更厉害？Facebook或将进军电视告白范畴>>>详细阅读

本文标题：对人工神经网络的隐式行为进行可视化

地址：http://www.17bianji.com/lsqh/37173.html

 1/2    1