设定超参数的挑衅让⼀些人抱怨神经⽹络相⽐较其他的机械进修算法须要⼤量的⼯作进⾏参数选择。我也听到很多不合的版本：“切实其实，参数完美的神经⽹络可能会在这问题上获得最优的机能。然则，我可以测验测验⼀下随机丛林(或者 SVM 或者……这⾥脑补⾃⼰偏爱的技巧)也可以或许⼯作的。我没有时光搞清跋扈那个最好的神经⽹络。”当然，大年夜⼀个实践者角度，肯定是应⽤加倍轻易的技巧，这在你刚开端处理某个问题时尤其如斯，因为那时刻，你都不肯定⼀个机械进修算法可以或许解决那个问题。然则，如不雅获得最优的机能是最重要的⽬标的话，你就可能须要测验测验加倍复杂精妙的常识的⽅法了，如不雅机械进修老是简单的话那是太好不过了，但也没有⼀个应当的来由说机械进修⾮得这么简单。

这些子问题也同样可以持续被分化，并经由过程多个⽹络层传递得越来越远，最终，我们的⼦⽹络可以答复那些只包含若⼲个像素点的简单问题。举例来说，这些简单的问题可能是询问图像中的⼏个像素是否构成⾮常简单的外形，这些问题就可以被那些与图像华夏始像素点相连的单个神经元所答复，最终的结不雅是，我们设计出了⼀个⽹络，它将⼀个⾮常复杂的问题 —— 这张图像是否有⼀张⼈脸 —— 分化成在单像素层⾯上就可答复的⾮常简单的问题，它经由过程⼀系列独裁构造来完成，在前⾯的⽹络层，它答复关于输⼊图像⾮常简单明白的问题，在后⾯的⽹络层，它建⽴了⼀个加倍复杂和抽象的层级构造，包含这种独裁构造 —— 两层或更多隐蔽层 —— 的⽹络被称为深度神经收集。

⾃ 2006 年以来，⼈们已经开辟了⼀系列技巧使深度神经收集可以或许进修，这些深度进修技巧基于随机梯度降低和反向传播，并引进了新的设法主意，这些技巧已经使更深(更⼤)的⽹络可以或许被练习 —— 如今练习⼀个有 5 到 10 层隐蔽层的⽹络都是很常⻅的，⽽且事实证实，在很多问题上，它们⽐那些浅层神经⽹络，例如仅有⼀个隐蔽层的⽹络，表示的加倍出⾊，当然，原因是深度⽹络可以或许构建起⼀个复杂的概念的层次构造。

3、交叉熵价值函数

这一节你将懂得神经收集练习速度太慢的原因，为什么要用交叉熵价值函数替代MSE或二次价值函数。

我们欲望和等待神经收集可以大年夜缺点中快速地进修，在实践中，这种情况经常出现吗?为了答复这个问题，让我们看看⼀个⼩例⼦，这个例⼦包含⼀个只有⼀个输入的神经元： 

我们会练习这个神经元来做⼀件异常简单的事：让输⼊ 1 转化为 0。当然，这很简单了，⼿⼯找到合适的权重和偏置就可以了，然⽽，看起来使⽤梯度降低的⽅式来进修权重和偏置是很有启发的，所以，我们来看看神经元若何进修。

可以推导获得： 

为了让这个例⼦更明白，我会⾸先将权重和偏置初始化为 0.6 和 0.9。这些就是⼀般的开端进修的选择，并没有任何克意的设法主意。⼀开端的神经元的输出是 0.82，所以这离我们的⽬标输出0.0 还差得很远，大年夜下图来看看神经元若何进修到让输出接近 0.0 的，留意这些图像实际上是正在进⾏梯度的计算，然后使⽤梯度更新来对权重和偏置进⾏更新，并且展⽰结不雅，设制揭捉?习速度 η = 0.15 进行进修⼀⽅⾯⾜够慢的让我们跟随进修的过程，另⼀⽅⾯也包管了进修的时光不会太久，⼏秒钟应当就⾜够了，价值函数就是MSE，C。 

获取更多的练习样本其实是很好的设法主意。不幸的是，这个⽅法价值很⼤，在实践中经常是很难达到的，不过，还有⼀种⽅法可以或许获得类似的效不雅，那就是⼈为扩大练习数据，假设我们使⽤⼀个 5 的 MNIST 练习图像：

跟着迭代期的增长，神经元的输出、权重、偏置和价值的变更如下⾯⼀系列图形所⽰： 

这一节你将懂得用规范化办法来防止过度拟合的办法，但无法给出科学的解释。

正如你所⻅，神经元快速地学到了使得价值函数降低的权重和偏置，给出了最终的输出为0.09，这固然不是我们的目标输出 0.0，然则已经挺好了。

假设我们如今将初始权重和偏置都设置为 2.0，此时初始输出为 0.98，这是和目标值的差距相当⼤的，如今看看神经元进修的过程。 

　　推荐阅读

　　用Async函数简化异步代码

就像你看到的，这个函数返回一个 promises，将会赋值给 val，猜一下生成器和异步函数示例做了什么!无论你在这个函数返回了什么，你其实是暗地里返回一个 promise 解析到那个值。如不雅你>>>详细阅读

本文标题：理解深度学习的钥匙–参数篇

地址：http://www.17bianji.com/lsqh/34849.html

 1/2    1