本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
逻辑回归模型使用交叉熵损失函数，它可以由最大似然推导得到
本文讲解如何使用最大似然推导逻辑回归的交叉熵损失函数，以及化为另一种形式
通过本文，可以具体了解逻辑回归损失函数如何通过最大似然得到的，以及推导过程
本节从最大似然角度推导逻辑回归的损失函数
逻辑回归模型与损失函数
逻辑回归模型的数学表达式
逻辑回归模型的数学表达式如下：
其中，
逻辑回归模型的损失函数
逻辑回归的损失函数为交叉熵损失函数，它有两种常见形式：
逻辑回归损失函数-形式一：
逻辑回归损失函数-形式二：
下面我们讲述如何通过最大似然法推导出逻辑回归的两种损失函数
逻辑回归损失函数推导-最大似然法
最大似然法推导逻辑回归的损失函数具体过程如下：
一、单个样本评估正确的概率
模型对单个样本评估正确的概率 为：
可以巧妙地用一条式子把上述二式合并，如下：
二、所有样本评估正确的概率
假设每个样本是独立事件，则所有样本评估正确的概率为：
三、逻辑回归的损失函数
我们希望 最大化，只需将损失函数设计成 即可
又由于中含 有大量的乘号，为计算方便，外套一个对数ln
即可得到：
进一步化简即有：
这样就得到了逻辑回归的交叉熵损失函数
✍️ 逻辑回归损失函数第二种形式
下面将逻辑回归损失函数的交叉熵形式化为另一种形式
具体过程如下：
这样就得到了逻辑回归的第二种形式
以上就是逻辑回归损失函数的全部推导过程了~
End