其他
第8.4节 决策树剪枝
各位朋友大家好，欢迎来到月来客栈，我是掌柜空字符。
本期推送内容目录如下，如果本期内容对你有所帮助，欢迎点赞、转发支持掌柜！
8.4 决策树剪枝 8.4.1 剪枝思想 8.4.2 剪枝步骤 8.4.3 剪枝示例 8.4.4 小结
8.4 决策树剪枝
8.4.1 剪枝思想
在第8.2节内容中笔者介绍过，使用ID3算法进行构建决策树时容易产生过拟合现象，因此我们需要使用一种方法来缓解这一现象。通常，决策树过拟合的表现形式为这棵树有很多叶子节点。想象一下，如果这棵树为每个样本点都生成一个叶节点，也就代表着这棵树能够拟合所有的样本点，因为决策树的每个叶节点都表示一个分类类别。同时，出现过拟合的原因在于模型在学习时过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树，因此，解决这一问题的办法就是考虑减少决策树的复杂度，对已经生成的决策树进行简化，也就是剪枝（Pruning）。
8.4.2 剪枝步骤
决策树的剪枝往往通过最小化决策树整体的损失函数或者代价函数实现。设树的叶节点个数为，是树的一个叶节点，该叶节点有个样本点，其中类别的样本点有个，为叶节点上的经验熵，为参数，则决策树的损失函数可以定义为
其中经验熵为
进一步有
为你认可的知识付费，欢迎订阅本专栏阅读更多优质内容！