本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
交叉熵损失函数是机器学习分类模型中常用的一种交叉熵损失函数
本文讲解交叉熵损失函数的公式和推导，以及交叉熵损失函数在模型为二分类时的形式
通过本文可以快速了解什么是交叉熵损失函数，它是如何来的，它的公式以及意义是什么
本节讲解分类模型中的交叉熵损失函数的定义及计算公式
什么是交叉熵损失函数
交叉熵损失函数
交叉熵损失函数(CrossEntropy Loss)是机器学习中常用于评估分类模型的一种损失函数
它代表基于模型预测的概率下，在知道样本真实类别时所获得的信息量期望，即交叉熵
交叉熵损失函数公式如下：
其中， ：样本个数
：模型判断第i个样本属于类别k(样本真实标签)的概率
✍️公式解读：由于模型预测第个样本属于类别k的概率为
在知道第i个样本真实标签时获得的信息量为，再对整体样本求均值就是期望
交叉熵损失函数-计算形式
在计算交叉熵损失函数时，往往先算出每个类别的信息量期望，再对各类别进行求和
因此，交叉熵损失函数在实际计算时往往使用的是如下形式：
交叉熵损失函数计算公式-计算形式：
其中， ：类别个数
：第i个样本的真实类别标签
：模型判断第i样本属于第k类的概率
如何形象理解交叉熵损失函数
由于一件事信息量越大越让我们惊讶，所以把信息量理解为"惊讶程度"会更具体
则交叉熵损失函数代表我们"拿着"着模型时，在知道样本真实标签时的惊讶程度
如果模型预测准确，在知道真实标签时我们当然不会惊讶，此时交叉熵损失函数就小
如果惊讶程度很大，则说明真实标签大大地出乎模型意料之外，这代表模型预测不好
我们希望交叉熵损失函数越小越好，这样说明在模型的预测下，我们不会因为真实标签而感到惊讶
本节讲解交叉熵损失函数在二分类时的形式，以及推导过程
交叉熵损失函数-二分类模型
在二分类模型中，一般将类别标签记为0/1两类，此时，交叉熵损失函数形式如下
二分类模型的交叉熵损失函数：
其中，：样本个数
：第i个本样的真实类别标签
：模型判断第个i样本属于第1类的概率
二分类交叉熵损失函数的意义解读如下：
交叉熵损失函数就是希望在模型的预测下，在知道样本真实标签时信息量越小越好
交叉熵损失函数-推导过程(二分类)
在二分类模型中，一般将类别标签记为0/1两类，模型则输出样本属于1类的概率
因此，模型对0，1类样本正确预测的概率为：
1. 模型评估0类的样本属于0类的概率为：
2. 模型评估1类的样本属于1类的概率为：
则基于模型的预测，在知道样本真实标签时，所获得的信息量的期望(交叉熵)为：
上述结果就是二分类时的交叉熵损失函数表达式，在逻辑回归模型中使用的就是该函数
好了，交叉熵损失函数的公及及推导就讲到这里了~
End
