神经元是若何进修的？
在分析的第二部分我们阐释了在有歧义的情况中，每个神经元是若何起到赞助感化的。我们应用了可以被转写为不止一种亚美尼亚字母的拉丁字符集。然后我们移除了在 5000 个样本句子中出现次数少于 300 次的样本结不雅，因为我们的距离因子（distance metric）在那些更少的样本上不太奏效。然后我们在给定输入-输出对的情况下分析了每一个神经元。
例如，这是对大年夜左到右的 LSTM 中输出层编号为 #70 的神经元的分析。我们在之前的可视化中看到，它有助于决定 s 是否会被转写为_。下面是这个神经元断定的排名前 4 的输入-输出对：
所以这个神经元最有助于将 s 猜测为_（这个我们早就知道了），然则它也有助于决定拉丁字母 h 是否要被转写为亚美尼亚字母հ或者占位符_（例如，亚美尼亚字母չ平日被罗马化为 ch，是以 h 有时刻会变成_）。
当输入是 h，输出是_的时刻，我们可视化了神经元激活程度直方图之间的海宁格距离（Hellinger distances），结不雅发明，在 h=>_的情况下，编号为 #70 的神经元也属于大年夜左到右的 LSTM 中顶部十个神经元的一个。
可视化 LSTM 单位
受到论文可视化和懂灯揭捉?环收集（Visualizing and Understanding Recurrent Networks，Andrej Karpathy、Justin Johnson 和 Fei-Fei Li）的启发，我们测验测验寻找对后缀թյուն（罗马化为 tyun）反竽暌功最强烈神经元。
什么身分使得这个问题比较艰苦呢？
- 如上所示，不合的说话应用者会用到不合的罗马化方法。例如，v 或者 w 在亚美尼亚语中被写为վ。
- 多个字母可以被罗马化成一个拉丁字母。例如 r 可以代表亚美尼亚语中的 ր 或者 ռ。
- 一个单个字母可以被罗马化成多个拉丁字母或者拉丁字母的组合。例如，ch 组合代表西里尔字母中的ч或者亚美尼亚子母中的 չ，然则 c 和 h 各自又代表其他的器械。
- 英语单词和跨说话的拉丁文标记，例如 URL，平日都以非拉丁文本的情势出现。例如，youtube.com 和 MSFT 中的字母不会被改变。
我们的实验证实，即使在很简单的例子中，也会有大年夜量的神经元介入决定计划，然则可以或许找到那些比其他神经元更具有感化的一个神经元子集。另一方面，根据高低文，大年夜多半神经元都涉及到了多个决定计划过程。因为我们在练习神经收集时所用的损掉函数并没有强迫让神经元之间互相自力并且可解释，所以这是料想之中的。比来，为了获得更多的可解释性，已经有人测验测验应用信息理论的┞俘则化办法。在转写的义务中测试这些思惟将会很有趣。
第一行是输出序列的可视化。下面几行展示了最有趣的神经元的激活程度：
- 输出到输入反向 LSTM 中编号为 #6 的单位
- 大年夜输入到输出正向 LSTM 中编号为 #147 的单位
- 隐蔽层中的第 37 个神经元
- 连接层中的第 78 个神经元
我们知道，在亚美尼亚语种，tyuns 中的前缀 t 总应当变成թ，是以我们认为，如不雅一个神经元对 tyuns 感兴趣，那么它有可能会有助于决定拉丁文 t 是否应当别转写为 թ 或者 տ。所以我们可视化了在输入输出对 t => թ的情况下最重要的神经元。
事实上，前向 LSTM 中的单位 #147 也是属于 top 10 的。
结语
神经收集的可解释性仍然是机械进修中的一个挑衅。卷积神经收集和长短期记忆对很多进修义务都表示优胜，然则鲜有对象可以或许懂得这些体系的内部运作机制。转写是一个用来分析实际神经元感化的很好的问题。
【编辑推荐】
- 大年夜数据：机械进修专家带你实践LSTM说话模型
- 机械人再这么干下去，今后编剧都要掉业了
- 机械进修和深度进修是怎么一回事？Faizan Shaikh来帮你解答
- 何时浅探，何时深究—机械进修不是一张纸就能说完的
- 挨踢部落坐诊第六期：机械进修若何断定突发情况？
推荐阅读
1. 主板的干净作为全部设备的基本硬件，是最轻易聚积尘土的。干净主板时，取下所有插件，拆除固定主板螺丝，取>>>详细阅读
地址：http://www.17bianji.com/lsqh/36032.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示