对仁攀类而言，转写是一件相对轻易并且可解释的义务，所以它比较合实用来解释神经收集做了哪些工作，以及神经收集所做的工作是否和仁攀类在同样的义务上做的工作有类似之处。是以，我们大年夜转写义务开端进一步大年夜可视化的角度解释神经收集中的单个神经元实际上都学到了什么，以及它们到底是若何决定计划的。

目次：

• 转写
• 收集构造
• 分析神经元

• 「t」是若何变成「ծ」的?
• 神经元 是若何进修的？

• 可视化长短期记忆（LSTM）收集中的单位（cell）
• 总结评论

转写（Transliteration）

仁攀类很善于解决这些含糊其词的器械。我们曾经展示过 LSTM 也可以或许学会解决所有的┞封些歧义性，至少在亚美尼亚语上。例如，我们的模许可以精确地将 es sirum em Deep Learning 转写为ես սիրում եմ Deep Learning，而不是ես սիրում եմ Դեեփ Լէարնինգ。

我们可以看到，单位 #6 在 tyuns 上表示的很活泼，然则在序列中的其他部分则并不活泼。前向 LSTM 中的单位 #144 则有完全相反的表示，它对除了 tyuns 之外的一切都感兴趣。

是以，用户生成的内容中应用「拉丁化」或者「罗马化」的格局内容越来越多，这些格局的内容难以解析、搜刮，甚至辨认。转写就是就是将这些内容主动地转换陈规范格局的义务。

• Aydpes aveli sirun e.: Այդպես ավելի սիրուն է:

收集架构

我们大年夜维诽谤科上取了很多亚美尼亚文本，并应用概率规矩（probabilistic rules）来获得罗马化的文本。概率规矩覆盖了人们在亚美尼亚语中应用的大年夜多半罗马化规矩。

我们把拉丁字母编码成了>

数十亿互联捕鱼户中，大年夜约有一半在应用非拉丁文字母（non-Latin alphabets）表示的说话，例如俄语、阿拉伯语、中文、希腊语以及亚美尼亚语等。很多时刻他们也会随便地用拉丁文字母来写这些说话。

• Привет: Privet, Privyet, Priwjet, …
• كيف حالك: kayf halk, keyf 7alek, …
• Բարև Ձեզ: Barev Dzez, Barew Dzez, …

这两幅直方图注解，经由过程不雅察这个特定神经元的激活结不雅，我们就可以或许以较高的精确率猜到 t 的输出结不雅是不是ծ。为了量化这两幅直方图的差别，我们应用了海宁格距离（Hellinger distance），即我们获得对神经元激活结不雅的最大年夜值和最小值，并将它们之间划分成 1000 分，然后应用海宁哥距离公式。我们计算了每一个神经元的海宁格距离，然后将最感兴趣的那些以一幅图展示了出来：

神经元的色彩代表两幅直方图之间的距离（更深的色彩意味着更大年夜的距离）。两个神经元之间连线的线宽代表大年夜更低层到更高层的连接供献，即均值。橙色和绿色的线分别代表正或负的旌旗灯号。

图片顶部的神经元来自于输出层，输出层下面的神经元来自于隐蔽层（顶部的 12 个神经元表示直方图之间的距离）。隐蔽层下面是连接层。连接层的神经元被分成两部分：左半部分神经元是大年夜输入序列向输出序列传播的 LSTM，右半部分是大年夜输出向输入传播的 LSTM。我们根据直方图的距离大年夜每个 LSTM 中展示出了前十个神经元。

在 t => ծ 的情况中，很明显隐蔽层的前 12 个神经元都向 ծ 和ց（ց 在亚美尼亚说话也经常被罗马化成 t）传递正旌旗灯号，向 տ, թ 以及其他的字符传递负旌旗灯号。

我们也可以发来岁夜右到左的输出色彩加倍深，这注解这些神经元「拥有更多关于是否要猜测成ծ的常识」，另一方面，这些神经元和隐蔽层之间的连线色彩却加倍浅，这意味着他们对隐蔽层中顶部的 12 个神经元激活程度的供献更大年夜。这是异常天然的结不雅，因为当下一?符号是 s 的情况下，t 一般会变为ծ，并且，仅仅大年夜右向左的 LSTM 才能意识到下一?字符。

我们对 LSTM 内部的神经元和门（gate）做一下类似的分析。分析结不雅在图中底部的 6 行展示了出来。实际上，有趣的是最「置信的」神经元是那些所谓的单位输入（cell input）。输入单位和门都依附于当前步调的输入和前一步的隐蔽状况（就像我们谈论过的大年夜右向左的 LSTM，这是下一?字符的隐蔽状况），是以它们都「意识」到了下一? s，然则因为一些原因，单位输入比其他部分更具置信度。

在 s 应当被转写成_（占位符）的情况下，跟着 s 变成 _ ，尤其是在 ts => ծ_的情况下，有效的信息更可能来自输入到输出的┞俘向 LSTM。鄙人图中可以看到这个情况：

　　推荐阅读

　　机房机柜的清理原来还有这么多讲究?

1. 主板的干净作为全部设备的基本硬件，是最轻易聚积尘土的。干净主板时，取下所有插件，拆除固定主板螺丝，取>>>详细阅读

本文标题：从任务到可视化，如何理解LSTM网络中的神经元

地址：http://www.17bianji.com/lsqh/36032.html

 1/2    1