如不雅欲望懂得机械进修，或者已经决定投身机械进修，你会第一时光┞芬到各类教材进行充电，同时在心中默认：书里讲的是牛人大年夜神的毕生聪明，是精确无误的行动指南，卖力进修就能获得快速晋升。但实际情况是，你很可能已经在走弯路。

集成进修获得最好进修效不雅

有时我们会发明，在实际工作中，应当怎么做和教科书讲的结论相抵触，这时刻要怎么办呢?难道教科书中的结论掉足了?事实上，有时确切如斯。所以今天我就想和大年夜家分享一下机械进修教材中的一些经典问题，欲望对大年夜家往后的工作和进修有所赞助。

神经收集不宜跨越三层

那为什么之前挡裉科书上会写神经收集不克不及跨越三层，这就要大年夜神经收集的汗青说起。五十年代有位科学家叫Marvin Minksy，他是一位生物学家，数学又很好，所以他在研究神经元的时刻就在想能不克不及用数学模型去描述生物的神经元，是以就设计了感知机。感知机就像一个神经细胞，它能像神经细胞一样连起来，形成神经收集，就像大年夜脑的神经收集。其实袈溱60年代开端的时刻，是有很深的神经收集，但当时经由大年夜量实验发明，不跨越三层的神经收集效不雅不错，于是大年夜概到80年代时就得出结论：神经收集不宜跨越三层。

那为什么如今这条结论又被颠覆了呢?实际上这条结论是有前提前提的，即在数据量不大年夜的情况下，神经收集不宜跨越三层。而大年夜2005年开端，大年夜家发明跟着数据增长，深度神经收集的表示优胜，所以慢慢走向深度进修。其拭魅这里真正精确的道理是Valiant引理，它可以懂得为“模型复杂度(例如专家体系的规矩数量)要和数据量成正比”。数据量越大年夜，模型就越复杂。上个世纪因为数据量小，所以神经收集的层数不克不及太深，如今数据量大年夜，所以神经收集的层数就要做深。这也说清楚明了为什么当时教科书会有如许的结论，而如今跟着深度进修的风行，大年夜家已经不再会认为这句话是对的。

决定计划树不克不及跨越五层

如不雅有同窗看教科书上介绍决定计划树，会有一个说法就是决定计划重要减枝，决定计划树如不雅不减枝效不雅不好。还有教科书会告诉决定计划树不克不及跨越五层，跨越五层的决定计划树效不雅不好。这个结论和神经收集结论一样，神经收集不克不及跨越三层也是因为当时数据量不大年夜，决定计划树不克不及跨越五层也是因为上个世纪数据量不敷大年夜，二叉树决定计划树如不雅深度是N的话，复杂度大年夜概是2的N次方，所以不跨越五层复杂度也就是三十多。如不雅数据量达到一百万的时刻，决定计划树能达到十几二十层的范围，如不雅数据量到了一百亿的时刻决定计划树可能要到三十几层。

如今，我们强调更深的决定计划树，这可能和教科书讲的相抵触。抵触的原因是如今全部场景下数据量变大年夜，所以要做更深的决定计划树。当然，我们也不必定在所有的场景里都有很大年夜数据量，如不雅碰到了数据量小的场景，我们也要知道决定计划树是要做浅的。最根本来说，就是看竽暌剐若干瘪据，能写出多复杂的模型。

有些教科书会零丁开个章节来讲特点选择，告诉我们在拿到数据后，要先删除一些不重要的特点，甚至有挡裉科书注明，特点数不克不及跨越一千，不然模型效不雅不好。但其拭魅这个结论也是有前提前提的，如不雅数据量少，是不克不及够充分支撑很独特点，但如不雅数据量大年夜，结论就会不一样。这也就是为什愦我们做LogisticRegression会有几十亿个特点，而不是限制在几百个特点。

以前传统数据分析软件，如SAS，之所以只有几百个特点，是因为它出生于上世纪七十年代，它面对的问题是在具体场景下没有太多可用数据，可能只有几百上千个样本。是以，在设计体系时，就只须要针对几百个特点设计，不须要几十亿个特点，因为上千个样本无法支撑几十亿特点。但如今，跟着数据量增长，特点量也须要增长。所以我认为，在大年夜数据情况下，全部机械进修教科书里关于特点选择的┞仿节已经落后于时代，须要根据新的情势从新撰写;当然在小数据场景下，它仍然具有价值。

第四个叫做集成进修，这个技巧在各类数据发掘比赛中特别有效，比如近些年KDD CUP的冠军几乎都是采取集成进修。什么是集成进修?它不是做一个模型，而是做很多(例如一千个)不一样的模型，让每个模型投票，投票的结不雅就是最终的结不雅。如不雅不推敲资本限制情况，这种模式是效不雅最好的。这也是为什么KDDCUP选手们都选择集成进修的方法，为了寻求最后效不雅，不在乎投入若干，在这种前提下，集成进修就是最好的方法。

但在实际中，企业做机械进修寻求的不是用无穷的资本做尽可能好的效不雅，而是若何充分应用有限资本，获得最好效不雅。假设企业只有两台机械，若何用这两台机械获得最好的效不雅呢?如不雅采取集成进修，用两台机械跑五个模型，就要把两台机械分成五份，每个模型只能用0.4台机械去跑，是以跑的数据量就有限。那如不雅换种方法，不消集成进修，就用一个模型去跑，就能跑5倍的数据。平日5倍的数据量能比集成进修有更好的效不雅。在工业界比较少会应用集成进修，主如果因为工业界绝大年夜多半的场景都是资本受限，资本受限时最好的方法是想办法放进去更多的数据。集成进修因为跑更多的模型导致只能放更少的数据，平日这种效不雅都邑变差。

　　推荐阅读

　　《CIO修炼之道》第3讲！张明文谈企业信息化的四重境界

《CIO修炼之道》第 3 讲各位同伙大年夜家好，我是海天塑机集团信息中间的IT总监张明文，延续上一讲的话题，今天给大年夜家分享的是：企业信息化的四重境界。在十几二十年前，企业信息化的>>>详细阅读

本文标题：机器学习教材中的7大经典问题

地址：http://www.17bianji.com/lsqh/37004.html

 1/2    1