本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
线性回归、岭回归、Lasso回归模型都是经典的线性模型，它们各有特色
本文辨析线性回归、岭回归、Lasso三者的异同点，以及它们的关系
通过本文，可以加深对三个线性模型理解，进一步掌握各个线性模型的特点
本节辨析线性回归、岭回归和Lasso相同与差异之处
线性回归、岭回归和Lasso的异同比较
相同之处
线性回归、岭回归和Lasso同为线性模型，同样用于解决线性问题
它们的表达式同样适用于：
虽然三者的表达式是一致的，但又略有不同
因为岭回归和Lasso会加入正则项，而b是不需要惩罚的，所以它们的原始模型并不带阈值B
而是通过先通过中心化转为无阈值线性模型，再反推得到带阈值的模型
差异之处
线性回归、岭回归、Lasso的主要差异就在于损失函数上
它们的损失函数分别如下:
👉 线性回归 ：均方差
👉 岭回归 ：均方差+L2范正则项
👉 Lasso ：均方差+L1范正则项
此外，线性回归，岭回归能求得精确解
Lasso用坐标下降法寻解，更为复杂，也意味着不一定能求得全局最优解
线性回归、岭回归和Lasso的关系辨析
线性回归、岭回归和Lasso，三者是逐步迭代，由简单到繁杂，功能也更加完善
线性回归是最原始的回归模型，损失函数用均方差，简单且直接
但它的缺点是：系数有可能极大,带来极为不合理的模型
岭回归则在损失函数中加入了L2正则项，牺牲回归精确度来避免系数过大
但它的缺点是，几乎不会有0系数，这会导致一些与y无关的变量，系数仍不为0
Lasso回归则将岭回归所用的L2正则项，改为L1正则项
如此一来，它既牺牲了回归精确度，又牺牲了求解精度
但它达到了“避免系数过大，且允许0系数的存在”的效果
所以，Lasso回归的缺点就是，求解更为复杂，未必取得全局最优解
好了，以上就是线性回归、岭回归和Lasso的差异比较与关系辨析了~
End
