本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
使用梯度下降法训练逻辑回归时，需要使用到逻辑回归损失函数的梯度
本文给出逻辑回归损失函数的梯度公式，以及详细的推导过程
通过本文，可以了解逻辑回归的损失函数的梯度公式，如何它是如何推导出来的
本节回顾逻辑回归的损失函数
逻辑回归-损失函数回顾
逻辑回归的损失函数为交叉熵损失函数
逻辑回归的损失函数公式如下:
其中,
：第i个样本的输入变量
：第i个样本的类别
：样本个数
：逻辑回归模型参数
逻辑回归-损失函数-形式二
为了方便推导逻辑回归损失函数的梯度
我们这里引入逻辑回归损失函数的第二种形式，如下：
它的推导过程如下：
本节推导逻辑回归损失函数的梯度公式
逻辑回归损失函数-梯度公式推导
由于使用梯度下降法训练逻辑回归时，需要用到逻辑回归损失函数的梯度
下面我们推导逻辑回归损失函数的梯度
为了简化梯度公式的推导难度，
不妨先对逻辑回归单个参数进行求导，再进下推及到整体参数的梯度
推导过程如下：
先对W的单个元素j进行求导：
------由于 ,上式可写为-----
-------------用矩阵形式替换连加形式---------------
// (p-y)*X的第j列
逻辑回归损失函数整体梯度公式
将逻辑回归损失函数单参数的梯度公式，
按形式推广到整体参数，则有：
其中
X ：矩阵, m样本数, n为特征个数
即一行为一个样本,一列为一特征
y ： 样本的真实标签，列向量
p ：模型预测的概率，列向量
上述就是逻辑回归梯度公式推导的全部内容了~
End