机器学习-入门教程

【原理】CART回归树

作者 : 老饼 发表日期 : 2024-03-13 15:04:21 更新日期 : 2025-03-30 13:50:42
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



CART决策树包括了分类树与回归树,其中回归树用于解决回归拟合问题

CART回归树与分类树极为相似,仅是在CART分类树上做一些修改

本文介绍CART回归树,通过本文,了解CART回归树是如何利用决策树解决回归问题的





     01.CART回归树     





本节基于CART分类树的基础上,讲解CART回归树是什么





      CART回归树-模型结构      


在了解CART分类树的基础上,CART回归树的学习非常容易
回归树与分类树的不同,在于回归树的输出变量y是连续数值变量
 因此,在CART分类树的基础上,稍作修改就是CART回归树 
 如下是一棵CART回归树,它通过身高、年龄来预测体重:
 CART回归树
CART回归树与CART分类树一样,仍然是一棵二叉树,只是最终叶子节点是一个数值
 也就是说,CART回归树最后虽然输出的是数值,但它的输出是可枚举的






     CART回归树的构建      


CART回归树整体构建算法类似于CART分类树
 关键有以下两点修改:
 1.输出类型的修改
 
叶子节点输出的不是类别,而是节点上所有y的均值 
 2.分割评估函数的修改
 
 回归树构建过程中,节点分割评估不用基尼指数,而是平方差
如下:

   







备注:本文参考自 李航《统计学习方法》











 End 




内容纠正