老饼讲解-机器学习
本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
本文总结逻辑回归算法的原理、模型、和求解。
是对逻辑回归算法的一个简单精要总结
本节回顾和总结逻辑回归模型三组件：表达式、损失函数、求解算法
逻辑回归模型三组件回顾
逻辑回归模型是用于做二分类，它输出属于分类1的概率
模型的表达式、损失函数、求解算法如下：
逻辑回归的模型表达式
从表达式可以看到，
逻辑回归模型相当于用线性函数综合所有变量，
再用sigmoid函数将综合值转为概率值
逻辑回归的损失函数
逻辑回归用概率最大化作为损失函数，
即取何值时，模型预测正确的概率最大
损失函数常见的有一般形式和交叉熵形式
损失函数的一般形式：
损失函数的交叉熵形式：
逻辑回归的模型求解
模型无法求得精确解，
使用梯度下降等算法进行数值求解
损失函数的梯度公式为：
👉软件包里逻辑回归的求解用的不一定是梯度下降法，但思想是类似的
本节回顾梯度下降法求解逻辑回归的流程
梯度下降法求解逻辑回归流程
梯度下降法求解逻辑回归的思路与流程如下：
(1) 先求出待求解函数（损失函数）的梯度公式，
(2) 初始化一个初始解，根据梯度公式的负梯度方向，不断迭代，直到满足要求（例如达到最大迭代次数）
👉说明
这里我们使用梯度下降法求解逻辑回归，
主要是作为入门，可以顺带学习梯度下降算法，
而实际上，在软件包中，例如matlab,使用的就不是梯度下降法，而是牛顿法
在软件包的算法原理讲解时，我们可以看到，牛顿法会更为精妙和有效
End
