作家
登录

为什么有些数学研究者会看不惯甚至鄙视深度学习(Deep Learning)?

作者: 来源: 2017-05-11 09:06:20 阅读 我要评论

深度进修

DL 的难度取决于看问题的角度。数学系的话应当往理论偏向看。

DL 用线性和非线性函数堆砌来构造函数,用随机梯度降低就可以练习,并且还有异常好的泛化才能,在我看来如许的器械居然没有道理这是完全弗成想像的。然则 DL 很难,难到大年夜家都不知道若何入手,用什么数学对象都不知道,所以说什么样的理论文┞仿都有,凝集态物理的(spin-glass),量子物理的(重整化群),ODE 的(动力体系),各类优化理论(这个例子太多),各类复杂度理论,但还没看到真正提炼出本质的。数学这边那么多理论,但如今还没有哪个能搬到 DL 上并且能严丝合缝的,至于能进行有效猜测的就更没有了。这就足够解释问题的复杂性,DL 是没那么简单的。

要深刻 DL,各类基本常识是弗成少的。然则基本常识并不是拿来夸耀的成本,因为学了一大年夜堆,可能一个都没用。比如说 VC Dimension 或者 Rademacher Complexity 对 DL 有没有效?它们本身都很漂亮,但可能假设太强获得的结论和实际差很远,或者假设太宽泛获得的结论太弱,都不在 DL 的工作区间。所以做理论的人,不得不一个个学过来,想过了,试过了,然后放掉落,下一?。解决问题是最终的目标,而不是学得比人多些,然后坐在原地不动夸耀本身厉害。耍弄十八般技艺,比不过高手一招制敌。至于这一招怎么找到,或者大年夜理论分析这边入手,或者大年夜实验入手,都是一样有价值,都是平等的,不存在谁小看谁的问题。小看就意味着有不合理的预设立场,忽视另一种思路的感化,对解决问题是晦气的。

【编辑推荐】

  1. 若何给非专业人石工解什么是深度进修?
  2. 深度进修10大年夜框架比较分析
  3. 深度进修的时光序列模型评价
  4. 深度进修的“深度”有什么意义?
  5. 入门级攻略:机械进修 VS. 深度进修
【义务编辑:枯木 TEL:(010)68476606】

学数学的时刻,我的感到像是走进了琳琅满目标艺术博物馆,在整洁的情况中观赏各类精细的美。DL 比拟之下就像是锅炉房里堆叠着一坨污七八糟的机械,工程师们东敲西打让它工作,固然脏乱,确切有效。大年夜部分人可以沿着前人铺好的锦绣路上再添砖加瓦,然则真正厉害的,是掉落臂脏乱跑到锅炉房里把机械拆开,化腐败为神奇,找到最重要道理的那些人。开创比修补难,与其抱怨 DL 没有精深数学做框架,不如本身尝尝看,能不克不及做些有趣的器械出来。如今那么大年夜的金矿放在那边,大年夜家应当好好合作使劲挖矿才是啊。 小波是很美,但问题是它的基函数是固定情势的,不克不及适应具体问题,并且还须要数学家搞一辈子才能搞出来。与之比拟,深度模型练习几天就能跑出来,并且针对具体问题(比如说图像分类)效不雅还更好,你会选哪个?所以说如今思路要改变,一个一个地研究模型太没效力了,做一个对数据主动建模的模型,是不是在计谋上会更有趣一点呢?

我和我一个同窗聊过,他如今是统计系的毕生传授,列举了几个异常牛的数学家,问我 AI 再牛牛得过他们么?我没有正面答复,我在想仁攀类看蚂蚁的时刻会思虑通俗蚂蚁和聪慧一点的蚂蚁之间的差别么?我这里并没有贬低数学家的意思,因为仁攀类都是一样的,我也是眇乎小哉的通俗蚂蚁罢了——比拟耗能堪比一座小城市并且每几个月就更新换代的集群,人脑仅仅几十瓦的功率,神经元间慢达毫秒级的传输速度,败下阵来只是时光问题。而如今的人脑处理大年夜部分义务甚至还远胜集群,可见人工智能潜力之大年夜。我有时刻认为我们看到几颗星辰就认为是大年夜冲破了,其实我们还在漫漫长夜里瞎摸,太阳还没有露头呢。

别的说一下门槛低的问题。几百年前,微积搀扶来之后,一大年夜类问题都可以用同一的办法解决,让技巧进步的门槛降低了,本来居高临下的各类技能平平易近化了,立时就带动了相干范畴的巨大年夜进展。这个汗青过程和我们如今看到深度进修的过程一模一样,开源了,大年夜家都用了,半数小我类而言进步就快了。到了这个时刻,单枪匹马干不了什么事,人平易近群众才是技巧进步的原动力。

面对时代的大水,比拟嘲弄别人与世浮沉,思虑应当若何顺势而为,或许是更有扶植性的吧。



  推荐阅读

  京东布局消费物联网 聚合产业链共建生态

【51CTO.com原创稿件】据Gartner宣布的数据显示,到2020年,全球联网设备数量将达260亿台,物联网市场范围将达1.9万亿美元。如今,互联网已经大年夜人与人的连接成长到人与物、物与物的连接,物联网时代带来。5月9日>>>详细阅读


本文标题:为什么有些数学研究者会看不惯甚至鄙视深度学习(Deep Learning)?

地址:http://www.17bianji.com/lsqh/35142.html

关键词: 探索发现

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
自媒体专栏

评论

热度

精彩导读
栏目ID=71的表不存在(操作类型=0)