老饼讲解-机器学习
本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
线性回归模型是机器学习中最简单的模型，它的思想是用线性关系去拟合变量与因变量之间的关系
线性回归虽然简单，但它包含了机器学习的精髓，学好线性回归模型，是入门机器学习的基石
本文讲解线性回归模型思想与它的模型表达式、损失函数和求解方法
本节介绍线性回归的思想
线性回归思想
线性回归模型是希望找到一条直线(平面或超平面)去拟合样本数据点
最佳拟合时，直线与样本的总均方误差最小
在x为一维时，y 与 x 组成二维平面时，可如下理解：
线性回归模型以一条直线拟合数据
拟合原则是总均方误差最小
本节介绍线性回归的模型表达式与损失函数
线性回归模型表达式与损失函数
模型表达式
线性回归的模型表达式如下
损失函数
线性回归的损失函数为模型预测值与真实值的均方差
备注：上标 (i) 代表第i个样本,m为样本个数，n为变量个数
线性回归模型表达式与损失函数 - 矩阵形式
为书写方例，往往写成矩阵形式
模型表达式
线性回归的模型表达式矩阵形式如下：
损失函数
线性回归的损失函数矩阵形式如下：
✍️说明
矩阵形式中的X是在原变量再加上一列常数1:
W也比对应地比原来的多一个，这样做的目的是把 b揉进了W里
本节讲解线性回归模型的系数求解方法
线性回归的模型求解
线性回归模型的求解，直接使用最小二乘法求解就可以
最小二乘法的求解公式如下：
使用该公式即可求得令损失函数L(W)取得最小值的W
End
