本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
GINI系数因为计算量少、效果好而逐渐替代熵成为CART决策树评估树纯度的指标
本文讲解GINI系数的含义以及GINI系数的推导过程，通过本文可以知道GINI系数是怎么来的
本节介绍决策树中GINI系数的原理及推导过程
GINI系数-公式与推导
决策树中使用的GINI公式并非GINI系数的通用形式
下面我们先介绍GINI系数公式的通用形式
GINI系数公式与含义
设集合中有K个类别，则称两次抽到不同类别的概率为GINI系数
GINI基尼系数的公式如下：
其中，K是集合的类别个数，代表每次抽到第i类的概率
✍️GINI系数公式的推导过程
第一次抽到Ci类,第二次没抽到 Ci类的概率为：
第一次抽到的可能现象是C1,C2....Ck，则两次抽到不一样的概率：
决策树GINI系数-公式与推导
决策树中使用的GINI公式是上述通用GINI系数公式的特殊应用
决策树中使用的GINI系数公式可在在上述GINI系数公式的基础上进一步推导得到
决策树基尼系数公式的具体推导过程如下：
假设节点上有个样本，属于 类的样本有个
那么抽到类样本的概率为
将代入基尼系数的公式，则易知该节点上的基尼系数表达为
其中
：该节点上的样本数
：该节点上属于 类的个数
G代表在节点上，随机抽两个样本，这两个样本属于不同类的概率
以上就是决策树中的GINI系数的推导过程了
End
