本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
最小二乘法在理论上可以很好地解决最小二乘问题，但实际中会结合QR来进行实际计算
本文讲解什么是最小二乘法，什么是QR分解，以及在实际中如何利用QR分解来简化最小二乘法的计算
通过本文可以快速了解为什么需要用QR分解来简化最小二乘法的计算，以及具体的操作流程
本节讲解如何使用QR分解来降低最小二乘法的计算量
最小二乘法与QR分解
最小二乘法为什么要结合QR分解
最小二乘法可以很好的解决最小二乘问题，但实际使用时往往会用QR分解来简化计算
最小二乘问题的求解公式为：
从最小二乘法的公式可以看到，它需要计算的逆矩阵，这在计算上会较为复杂
更多时候，会使用QR分解来简化最小二乘法的求解公式，避开直接求的逆矩阵
什么是QR分解
QR分解是指：对于的满秩矩阵A，可将其分解为列正交矩阵与三角矩阵的积
QR分解如下所示：
其中，Q是列正交矩阵，即列与列之间两两正交
R是非奇异的上三角矩阵
QR分解优化最小二乘法的计算过程
QR分解优化最小二乘法的计算过程与原理如下：
对A进行QR分解，则有：
即可得到最小二乘法的求解公式为：
其中，由A进行QR分解得到
从中可以看到，它只需求R的逆矩阵，而R是一个上三角，计算逆矩阵较容易
因此，用计算机计算最小二乘解时，一般都将A进行QR分解，再按上述公式进行求解
End
