Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践

前面谈了逻辑回归的基来源基本理及梯度降低推导过程，编码实现了逻辑回归的梯度降低算法，这是分类算法。今天，我们持续开启分类算法之旅，它是一种高效简介的分类算法，后面有一个集成算法恰是基于它之上，它是一个可视化效不雅很好的算法，这个算法就是决定计划树。

1 一个例子

起首根据特点：外形，如不雅不是圆形，那么必定是喷鼻蕉，这个就是叶子节点;

再进一步根据大年夜小这个特点断定，如不雅是相对大年夜的，则是苹不雅，如不雅否，则是杏子，至此我们又获得两个叶子节点，并且到此分类地位，都获得了精确划分三种水不雅的办法。

有一堆水不雅，个中有喷鼻蕉，苹不雅，杏这三类，如今要对它们分类，可以选择的特点有两个：外形和大年夜小，个中外形的取值有个：圆形和不规矩形，大年夜小的取值有：相对大年夜和相对小。如今要对其做分类，我们可以如许做：

大年夜家可以领会刚才这个过程，这就是一个决定计划分类，构建树的一个过程，说成是树，显得有点高大年夜上，再细心想想就是一些列 if 和 else 的嵌套，说是树只不过是逻辑上的一种神似罢了。

刚才举的┞封个例子，有两个特点：外形和大年夜小，并且选择了第一个特点：外形作为第一个决裂点，大年夜小作为第二个决裂点，那么不克不及选择第二个特点作为第一决裂点吗? 如许选择有没有公式根据呢?

如不雅是圆形，

2 决裂灯揭捉?择根据

在上个例子中，有三类水不雅，如今假设杏都被我们家的宝宝吃完了，如今手里只有喷鼻蕉和苹不雅这两类水不雅了，并且这个时刻要对它们做分类，此机会警的你，必定会根据特点：外形对它们分类了，因为如许一下就会把它们分开了，此时我们嗣魅这类集合的纯度更高，与之前的那三类水不雅在外形这个特点上。

纯度这个概念是很好的懂得的，种类越少纯度越高，天然两类纯度更高。 此时有人提出了一个和它相反的然则不那么轻易懂得的概念：熵。它们是敌对两边：熵越大年夜，纯度越低;熵越小，纯度越高。

只须要知道基尼系数和熵差不多的概念就行了，只不过量化的公式不合罢了，这就解释懂得了，至于公式长什么样子，用的时刻去成就行了。

这是一种概念，那么若何用公式量化熵呢：

个中 i 等于苹不雅，喷鼻蕉，杏，P(i)是集合中取得某一个水不雅的概率。

试想一下，如不雅我们想更好地对某个集合完成分类，会怎么做呢?我们必定会优先选择一个特点，使得以这个特点做分类时，它们能最大年夜程度的降低熵，进步分类的纯度，极限的情况是集合中100个元素(集合中只有两类水不雅)，根据某个最优特点，直接将分为两类，一类都是苹不雅，一类都是杏，如许熵直接等于0。

这个特点就是所谓的信息增益，熵降低的越多，信息增益的就越多。很多时刻都不会产生上陈述的┞封个极限情况，就像文┞仿一开端举的例子，根据外形划分后，熵变小了，然则未等于0，比如刚开端三类水不雅的熵等于0.69，如今根据外形决裂后，熵等于了0.4，所以信息增益为0.69 – 0.4 = 0.29 。如不雅根据大年夜小划分，信息增益为0.1，那么我们回推敲第一个决裂特点：外形。

这种办法有问题吗?

3 信息增益越大年夜，分类效不雅越好?

这是只根据信息增益选择决裂特点点的bug，请看下面举例。

让我们看一下远边的大年夜海，和海边优美的风景，放松一下吧!

如不雅某个特点是水不雅的独一标示属性：编号，那么此时如不雅选择这个特点，共获得100个叶子节点(假设这堆水不雅一共有100个)，每个叶子节点只含有1个样本，并且此时的信息增益最大年夜为 0.69 – 0 = 0.69 。

然则，这是好的分类吗? 每一个样本作为零丁的叶子节点，当来了101号水不雅，都不知道划分到哪一个叶子节点，也就不知道它属于哪一类了!

是以，这个问题感到须要除以某个变量，来清除这种情况的存在。

它就是信息增益率，它不但斟灼揭捉?择了某个决裂点后能获得的信息增益，同时还要除以决裂出来的┞封些节点的熵值，什么意思呢? 刚才不是决裂出来100个节点吗，那么这些节点自身熵一共等于若干呢：

再除以膳绫擎这个数后，往往信息增益率就不会那么大年夜了。这就是传说中的大年夜ID3 到 C4.5 的改进。

4 与熵的概念类似的基尼系数

5 瞻望

以上介绍下场定计划树的一些概念和决裂灯揭捉?取的根本办法。明天计算借助sklearn库的API，可视化出建立决定计划树的过程，以及分析决定计划树中弗成或缺的最重要的部分：剪枝策略。

【编辑推荐】

1. 若何像专业人士一样发掘大年夜数据？
2. 大夫依然更信赖本身的经验，病院若何解决机械进修中大年夜数据收集和过载问题？
3. 大年夜数据、人工智能、机械人的血缘关系？
4. 大年夜数据人工智能范畴大年夜菜鸟到高手晋级指南
    1/2    1 2 下一页 尾页
   
   

   　　推荐阅读

   　　双十一大数据处理要控制成本

   Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践 解决数据问题须要大年夜多个层面来推敲良士力方面，数据价值是弗成忽视的一部分，专业人大年夜事专业事，>>>详细阅读

   
   

   本文标题：机器学习：谈谈决策树

   地址：http://www.17bianji.com/lsqh/39091.html

    1/2    1