玻璃世界的山头类型，这里的山头不仅包含语义上的山，也包含低谷。数学上严格描述应当懂得为梯度为零的点，梯度为零的点有两种，鞍点和极值点。梯度降低法中，鞍点老是可以找到前程的，到了极小点就无望了。物理上，鞍点数量可能会跟着能量赓续降低而慢慢转换成极小点，如下图就是Lennard-Jones液固改变的模仿计算(文献7)，y轴描述鞍点数量，体系还没达到最小能量(变成固体)就被包抄在一堆极小值邻近了，这时刻采取梯度降低搜刮万亿年都是徒劳的。然而这也告诉我们一个欲望，没须要担心局部极小，因为一旦到了真正的局部极小，也异常接近最小值了，毕竟大年夜部分区域都是被鞍点割据着。

智能长短凸的过程!这是一个异常老的不雅点，按照早期的计算才能来看，可想而知地不受迎接。任何练习都是在最小化某个损掉函数L(W)

或叫能量函数也可。Y LeCun(文献6)等人比来研究的不雅点显示，独裁卷积神经收集的损掉函数固然长短凸的，然则阻碍其通向最长处的山头属鞍点居多，是鞍自得味着老是可以找到前程。然则小index的鞍点阻碍才能甚高，并且随机矩阵理论和模仿显示，神经统??必定能量以上的某个区域全都是这类鞍点，异常类似物理上的Lennard-Jones液固改变过程，这也能懂得为何练习一个神经收集会慢慢开端黏在一个区域不动，这个区域的鞍点山头阻碍都十分恐怖(参考8)。(下图y轴描述鞍点数，横轴就是损掉函数，第4张图解释能量高到必定程度，鞍点都邑消掉)

深度=跨越玻璃相?这里要给个问号，毕竟今朝理论都不是在真实工业界的模型下计算出来的，像是一个猜测。设法主意是，既然练习存在玻璃阻碍，为何不一开端就把体系初始化到鞍点尽量少的区域，可惜在高维空间断定鞍点少的区域是个十分复杂的问题。然则我们可以降低维度去断定，比如惹人少量外部控制变量—序参数(权重的平方和，类似SVM中的距离，输入层的偏置，无标签/有标签数据数量等)，然后束缚这些序参数，按照某种权重平均掉履┞封些鞍点Wi的供献(重要性抽样解释这约等于将所有W积掉落)。因为鞍点多的处所供献相对大年夜，序参数调剂不好会导致平均结不雅同其它区域有明显不合，是以可以用来断定相区。如下图，log(ε)表示泛化才能的对数，越小泛化才能越强。β表示无标签样本的数量，α表示有标签样本数。不合色彩的线是不合偏置，蓝色线的偏置最小。不论那条色彩的线，增大年夜无标签的样来源基本则上可以降低误差，然则理论上存在“相区”，如蓝色线的上半支和下半支，中心不稳定，难以勾留长时光，会存在一支相的误差一向无法降低。它卡住了!

1. 特点=数据拓扑?似乎研究练习数据本身复杂性的不多，都强调模型对数据的解释才能。实际上，不论任何数据，任何奇怪的类型，拓扑都是比人设模型更泛的对象。不少人直不雅认为拓扑学的概括性过强，用作特点没法表示数据的内禀构造。其实不然，今朝比较火的，如代数拓剖攀琅绫擎有个Persistent homology，其对数据重要特点如斯敏感，甚至可以用来算作蛋白质构造的拓扑指纹，稀有学家经由过程这些指纹，甚至发明一些蛋白数据库的构造缺点。(参考文献4，5)
2. 是特点晋升“深度”，照样“深度”晋升特点?

预练习能加深!有了控制变量，我们可以经由过程调剂这些值，将损掉函数拖到感兴趣的区域，大年夜而躲避相的影响，这个拖动过程由一个日本人本年的研究注解(文献9)，就是无标签的预练习!如下图，预练习越多，有标签的调优能越早找到最小值区域!(log(ε)表示泛化才能的对数，越小泛化才能越强。β表示无标签样本的数量，α表示有标签样本数，预练习是RBM之流，激活函数是ReLu)

不止有预练习?固然相的不雅点仍然解释这只是一个初始化“黑魔法”罢了。但这个步调确确切实袈溱减弱玻璃相区的阻碍。是以本人也有个揣测，加大年夜范围，加大年夜样本，提取深层特点的深度进修是跨越相一个外面技能罢了!或许我们能找到一种跨越或者躲避相区的通用办法，一旦达到此目标，由此获得的特点或者才是真正的内禀表示。

【编辑推荐】

1. 若何给非专业人石工解什么是深度进修？
2. 当常识图谱“碰见”深度进修
3. 若何给非专业人石工解什么是深度进修？
    2/3   首页 上一页 1 2 3 下一页 尾页
   
   

   　　推荐阅读

   　　专题报道：《北沃，WO的品牌故事》 专访“北沃”创始人陆樱秋女士

   　　如果说女人如水，面对着非常有亲和力的北沃品牌创始人陆樱秋女士，你能感受到女人如水温柔背后的力量。将近三个小时的访谈中，我们一起来聆听北沃(Beauty water)的品牌故事。　　陆樱秋女士，广东百沃环保科技>>>详细阅读

   
   

   本文标题：深度学习的“深度”有什么意义?

   地址：http://www.17bianji.com/lsqh/35082.html

    1/2    1