深度进修的”深度”， 早几年评论辩论的挺多的，身边有不合的懂得：深度=更大年夜范围的收集，也有认为：深度=更抽象的特点，近年来物理上也有人侧面显示：深度=玻璃相改变，如不雅后者的不雅点成立，那么仅仅惹人GPU甚至FPGA硬件的目标只是加快， 没有算法的赞助(调参也算一种算法，后面会解释)是不会加深的!(注：等号表示强关系，不表示等价)

70-90年代关于神经收集的数学结论可谓不可偻指算，根本上很多评论辩论了范围和泛化之间的关系，尤其是分类问题，关于分类的练习误差和测试误差(泛化才能)，根本上归结为几个根本要乞降限制：

1. 模型要多复杂： 增长复杂度老是能拟合浩揭捉?练样本，而要获得优胜的泛化才能，广泛认为复杂度应当为练习数据数量标某种幂次，才能有较好的泛化才能。并且幂次请求小于1，若不然，每增长一个练习样本，都必须要扩充收集，这种模型没有任何实际意义。谢天谢地，神经收集可以知足这个请求，参考文献3。
2. 要若干练习数据：如不雅收集节点数为 N，连接权重数为W，那么泛化误差小于随便率性指定值ε 的一个合理的请求就是： 练习数据的数量 >(W/ε)Log(N/ε)，这解释复杂的模型须要更多的练习以获得优良的泛化才能!事实上，赓续进步数据量，独裁感知器模型也能达到今朝深度进修的程度(参考文献2)，认为深度进修=通俗独裁神经收集，切实其实有实际的来由。
3. 奥卡姆剃刀困惑：理论上，带一层隐蔽层的核基神经收集可以将随便率性数据拟合好(懂得为级数展开，每个项就是一个隐蔽神经元)，那么提嘉宾杂度的感化是啥?无法辩论的事实是，数据量足够高今后，简单的分类器都能给出优良的结不雅。关于这一点大年夜相变角度能解释为何须要实际工程须要一个“过度复杂的收集”，而不是一个大年夜小“方才好的”收集。
4. 复杂的价值：一个根本的定理，测试误差 >= 练习误差 + 模型复杂度，过度复杂的价值就是过拟合。防止过拟合的办法没有通论，业界通称“黑魔法”。

度量”深“

这个”深“同复杂度的接洽是很慎密的。神经收集的复杂度，我们可以应用层数，神经元数量，或者连接权重数量作为度量。相对的，数据本身的复杂度，我们用带标签的数据的比例和不带标签的数据的比例来衡量。

深度=范围?收集复杂性同分类误差之间的接洽：

膳绫擎4点告诉我们的表象是，针对静态非时序分类问题，我们貌似可以不要高大年夜上的算法，只要数据量足够，收集足够复杂，机械够大年夜，速度够快，懂得“黑魔法”，在如今的工业界的数据量和模型平日都是用亿来衡量其范围的时代，此乃现世王道。

深度=更多抽象特点?连续串问题来了，何为特点?何为好的特点?深度进修的特点为何被称为抽象的?独裁和抽象的关系是啥?

• 特点=函数展开的基函数?数学大将基函数懂得成特点是可以的，当然不须要完全，也不须要正交。比如下图，图片特点提取，稀少编码就是在一堆特点傍边寻找起码且拟合最好的特点组，前提假设是图片都可以被分化为这些特点的线性叠加。然而前提纲求分化仍然是线性的，使得机械上好计算，然则实际问题须要的特点平日是不合类型的组合，强行线性组合就像是吃正宗粤菜的时刻来个山东煎饼不雅子一样。(图取自吴恩达的slide)

特点=低维流形嵌入?

产生成千上万个没经验证的特点老是轻易的，但去除冗余特点，也就是去掉落那些添不添加都不影响结不雅的特点，就须要相当的技能。一种就是经由过程低维流形去寻找最重要的构造，这种办法可以应用独裁自编码去逐财揭捉?缩维度，也可以用传统独裁神经收集+Isomap类似的办法一步到位地紧缩维度，然后赓续调剂使得嵌入低维的数据点“互相分别的最远”。因为数据点靠的近表示类似，故此这种办法能将数据本身的平移扭转按次序嵌入到每块低维子流形傍边。反过来说，如不雅练习数据已经包含有其本身的扭转平移，其低维子流形将会被填充得“加倍的饱满”(如绿色的圆圈，因为手写数字1无论若何写都是“ |” 的某种扭转拉伸)，其低维的界线就更轻易被发明。然而这种办法是假设数据的可解释性隐蔽在其低维流形构造上，不免让人费解，并且不合标签的嵌入子流形可否被充分分别也是异常艰苦的工作。(参考G.E.Hinton 06年 nature， Y LeCun，etc)

深度=玻璃相改变?何为玻璃相?它对泛化误差的影响是啥?

1. 相，作为区分两种状况的词，有个异常实际和直不雅的影响就是，外部前提不变的话，大年夜一种相跨到另一种相是有很大年夜难度的!比如水在低温会结冰，同样前提，让水不结冰的概率，固然按照玻尔兹曼分布来看并非为零，过冷水就是一例。但这种状况是异常不稳定的，一旦扰动很快就变成冰，弗成能回到液体。
2. 相变过程=搜刮能量最小点，这是一个粗浅的懂得，在给定前提下(比如温度T)，相变就是大年夜能量高的状况(低温水)找到能量低的状况(冰)。然则该过程不是直线式的下陂过程，时代要翻过一些很小的山头，描述这些小山头的阻碍我们用一个正的能量垒ΔE来表示。其阻碍时光按照阿伦尼乌斯的不雅点，正比于N*E^(ΔE/T)，指数型的迁延。前面的参数N用来形容山头的多寡。
3. 玻璃相。假设这些小山头不是一个，而是体系自由度的指数，固然每个山头的高度不高，累计的阻碍仍然异常可不雅，甚至严重影响钠揭捉?找最小能量态的可能性，进入这种像踩到沥青的区域，我们用玻璃相来形容。如下图，比如蛋白质折叠的能量漏斗模型(能量landscape)，大年夜计算机模仿上来看，穿过玻璃改变区(glass transition)进入能量最小值是最消费时光的一个区域。这个过程硬件提速固然重要，然则并行加快是线性的进步，只解决空间复杂，不解决时光复杂!玻璃区域是包含有时光复杂的，一旦范围巨大年夜后，没有算法技能，寻找能量最低点，在这种非凸的模型上，根本无望。
    1/3    1 2 3 下一页 尾页
   
   

   　　推荐阅读

   　　专题报道：《北沃，WO的品牌故事》 专访“北沃”创始人陆樱秋女士

   　　如果说女人如水，面对着非常有亲和力的北沃品牌创始人陆樱秋女士，你能感受到女人如水温柔背后的力量。将近三个小时的访谈中，我们一起来聆听北沃(Beauty water)的品牌故事。　　陆樱秋女士，广东百沃环保科技>>>详细阅读

   
   

   本文标题：深度学习的“深度”有什么意义?

   地址：http://www.17bianji.com/lsqh/35082.html

    1/2    1