从决策树到随机森林：树型算法的原理与实现

推敲到该函数弗成微，是以它不克不及实现数值优化。此外，该函数在结点概率改变上并不敏感，是以这种分类误差率对于生成树十分低效。我们一般应用 Gini 指数和交叉熵函数来衡量结点的误差度量。

Gini 指数可以衡量 k 个类其余总方差，它一般定义为：

较小的 Gini 指数值表示结点包含了某个类别大年夜多半样本不雅察值。

在信息论琅绫擎，交叉熵函数用来衡量体系的纷乱度。对于二元体系来说，如不雅体系包含了一个类其余所有内容，那么它的值为零，而如不雅两个类其余数量一样多，那么交叉熵达到最大年夜为 1。是以，和 Gini 指数一样，交叉熵函数同样能用于度量结点的不纯度：

特点重要性度量

和 G 一样，较小的 S 值表示区域内结点包含了单个类别中的大年夜多半不雅察值。

决定计划树常见参数和概念

如不雅我们欲望以数学的方法懂得决定计划树，我们起首须要懂得决定计划树和树型进修算法的一般概念。懂得以下的术语同样能赞助我们调剂模型。

根结点：表示所稀有据样本并可以进一步划分为两个或多个子结点的父结点。
决裂（Splitting）：将一个结点划分为两个或多个子结点的过程。
决定计划结点：当一个子结点可进一步决裂为多个子结点，那么该结点就称之为决定计划结点。
叶/终止结点：不会往下进一步决裂的结点，在分类树中代表类别。
分枝/子树：整棵决定计划树的一部分。
父结点和子结点：如不雅一个结点往下决裂，该结点称之为父结点而父结点所决裂出来的结点称之为子结点。
结点决裂的最小样本数：在结点决裂中所请求的最小样本数量（或不雅察值数量）。这种办法平日可以用来防止过拟合，较大年夜的最小样本数可以防止模型对特定的样本进修过于具体的关系，该超参数应当须要使悠揭捉?证集来调剂。
叶结点最小样本数：叶结点所请求的最小样本数。和结点决裂的最小样本数一样，该超参数同样也可以用来控制过拟合。对于不均衡类别问题来说，我们应当取较小的值，因为属于较少类其余样本可能数量上异常少。
树的最大年夜深度（垂直深度）：该超参数同样可以用来控制过拟合问题，较小的深度可以防止模型对特定的样本进修过于具体的关系，该超参数同样须要在验证集中调剂。
叶结点的最大年夜数量：叶结点的最大年夜个数可以替代数的最大年夜深度这一设定。因为生成一棵深度为 n 的二叉树，它所能产生的最大年夜叶结点个数为 2^n。
决裂所须要推敲的最大年夜特点数：即当我们搜刮更好分别筹划时所须要推敲的特点数量，我们常用的办法是取可用特点总数的平方根为最大年夜特点数。

分类树的实现

为了展示不合的前文所述的决定计划树范型，我们将应用 Kaggle 上的美国收入数据集，我们都可以在 Kaggle.com 高低载该数据集。下面的代码可以展示该数据集的导入过程和部分内容：

import pandas as pdimport numpy as npfrom plotnine import *import matplotlib.pyplot as pltfrom sklearn.preprocessing import LabelEncoderfrom sklearn_pandas import DataFrameMapperfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.ensemble import RandomForestClassifiertraining_data = 'http://mdsa.51cto.com/art/201708/adult-training.csv'test_data = 'http://mdsa.51cto.com/art/201708/adult-test.csv'columns = ['Age','Workclass','fnlgwt','Education','EdNum','MaritalStatus','Occupation','Relationship','Race','Sex','CapitalGain','CapitalLoss','HoursPerWeek','Country','Income']df_train_set = pd.read_csv(training_data, names=columns)df_test_set = pd.read_csv(test_data, names=columns, skiprows=1)df_train_set.drop('fnlgwt', axis=1, inplace=True)df_test_set.drop('fnlgwt', axis=1, inplace=True)

在膳绫擎的代铝闼楝我们起首须要导入所有须要的库和模块，然后再攫取数据和构造到练习数据和验证数据中。我们同样去除 fnlgwt 列，因为该数据行对于模型的练习并不重要。

输入以下语句可以看到练习数据的前五行：

df_train_set.head()

如下所示，我们还须要做一些数据清洗。我们须要将所有列的的特别字符移除，此外任何空格或者「.」都须要移除。

#WordStr the special character to "Unknown"for i in df_train_set.columns:    df_train_set[i].WordStr(' ?', 'Unknown', inplace=True)    df_test_set[i].WordStr(' ?', 'Unknown', inplace=True)for col in df_train_set.columns:if df_train_set[col].dtype != 'int64':        df_train_set[col] = df_train_set[col].apply(lambda val: val.WordStr(" ", ""))        df_train_set[col] = df_train_set[col].apply(lambda val: val.WordStr(".", ""))        df_test_set[col] = df_test_set[col].apply(lambda val: val.WordStr(" ", ""))        df_test_set[col] = df_test_set[col].apply(lambda val: val.WordStr(".", ""))	
			 2/7   首页 上一页 1 2 3 4 5 6 下一页 尾页	
			

　　推荐阅读
　　Linux下awk内置变量使用介绍
            
            我们将逐渐揭开 awk 功能的神秘面纱，在本节中，我们将介绍 awk 内置built-in变量的概念。你可以在 awk  中应用两种类型的变量，它们是：用户自定义user-defined变量和内置变量。我们将逐>>>详细阅读


本文标题：从决策树到随机森林：树型算法的原理与实现
地址：http://www.17bianji.com/lsqh/36558.html
 1/2    1