老饼讲解-机器学习
本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
在逻辑回归中，损失函数的推导是一个重要的知识点，
本文给出逻辑回归损失函数的详细过程，包括常用形式和交叉熵形式
本节从最大似然角度推导逻辑回归的损失函数
逻辑回归的模型表达式回顾
逻辑回归的模型表达式如下
备注：这里的X代表,最后的1用于替代b。
样本评估正确的概率
单个样本评估正确的概率
先看单个样本评估正确的概率
模型对单个样本评估正确的概率 为：
解释：
逻辑回归的输出就是属于类别1的概率，
真实值 y为1 时, P就是评估正确的概率 ;
真实值 y为0时,P是错误的概率，1-P 就是模型正确的概率
----------------------------------------------------
巧妙的操作是，可以用一条式子把上述二式合并如下
解释：
当y=1时，第二个括号等于1
当y=0时，第一个括号等于0
化简后与上述两式一致
所有样本评估正确的概率
假设每个样本是独立事件，
则总评估正确的概率为所有样本评估正确的积：
逻辑回归-损失函数
我们期待 最大化，
只要将损失函数设计成 即可。
又由于 中含 有大量的乘号，
为计算方便，我们外套一个对数。
最后，损失函数设计如下：
备注：化简的具体过程见本文第2节
✍️说明
在连乘的情况下，使用对数使其转为加号是常用的操作
因为对数是单调函数，能让P最大化的W，同样会是令lnP最大化的W
逻辑回归损失函数-设计思路总结
逻辑回归损失函数设计的整体思路为：
这种思路设计的损失函数也叫最大似然损失函数
本节补充上节逻辑回归损失函数的化简过程的具体细节
目标
将损失函数
化简成
化简过程
本节补充逻辑回归损失函数的交叉熵形式及其推导
交叉熵形式
逻辑回归还有一种形式非常常见，如下：
它称为逻辑回归损失函数的交叉熵形式。
交叉熵形式推导过程
End