总结

神经收集的长处：

收集本质上实现了一个大年夜输入到输出的映射功能，而数学理论已证实它具有实现任何复杂非线性映射的功能。这使得它特别合适于求解内部机制复杂的问题。

收集能经由过程进修带精确谜底的实例集主动提取“合理的”求解规矩，即具有自进修才能。

收集具有必定的推广、概括才能。

神经收集的缺点：

对初始权重异常敏感，极易收敛于局部极小。

轻易 Over Fitting 和 Over Training。

应用范畴：

常见的有图像分类，主动驾驶，天然说话处赖寥。

  TODO

若何选择隐蔽层数和神经元个数没有一个科学的指导流程，有时刻感到就是靠猜。

1. 若何选择超参数的值，譬如说神经收集的层数和每层的神经元数量以及进修率；

2. 既然对初始化权重敏感，那该若何避免和修改；

3. Sigmoid 激活函数在深度神经收集中会见临梯度消掉问题该若何解决；

[2] 斯坦福大年夜学机械进修在线课程

起首我们看到 l 层的第 i 个神经元与 l+1 层的所有神经元都有连接，那么我们可以将 δ 展开成如下的式子：

[3] Parallel Distributed Processing (1986, by David E. Rumelhart, James L. McClelland), Chapter 8 Learning Internal Representations by Error Propagation

[4] How the backpropagation algorithm works

[5] Backpropagation Algorithm

[6] 链式求导轨则，台湾中华科技大年夜学数位课程，Youtube 视频，须要翻墙，趁便安利一下他们的数学相干的视频，因为做的都异常浅近易懂

【编辑推荐】

1. 深度进修的可贵：神经统??深，优化问题越难
2. 谷歌最强芯片进级，二代TPU是深度进修的将来？
3. 多维度分析“深度进修”市场的趋势走向
4. 用不到1000美元攒一台深度学惯用的超快的电脑：持续深度进修和便宜硬件的探奇！
5. 用深度神经收集处理NER定名实体辨认问题

【义务编辑：林师授 TEL：（010）68476606】

　　推荐阅读

　　PHP底层的运行机制与原理解析

PHP说简单，然则要精晓也不是一件简单的事。我们除了会应用之外，还得知道它底层的工作道理。懂得PHP底层实现的目标是什么?动态说话要像用好起首得懂得它，内存治理、框架模型值得我们借鉴>>>详细阅读

本文标题：神经网络中 BP 算法的原理与 Python 实现源码解析

地址：http://www.17bianji.com/lsqh/35499.html

 1/2    1