【推导】线性模型的样本中心化

本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com

本文讲述带阈值的线性模型与无阈值线性模型之间的转化方法

  01. 线性模型的样本中心化

本节介绍如何通过"样本中心化"的方法，将线性模型转为无阈值线性模型

   思路与推导   

对于无阈值的线性模型$\text{y}=\textbf{w}\textbf{x}$，如何使它适用于需要阈值的样本呢？
如果样本的中心是处在原点的，
那么，完全就可以用模型 $\text{y}=\textbf{w}\textbf{x}$来拟合，而不需要用$\text{y}=\textbf{w}\textbf{x}+b$
因此，可以先把数据中心化，即
 $X' = X-\bar{X}$
 $Y' = Y-\bar{Y}$
然后使用模型$\text{y}'=w'x'$拟合$X'$、$Y'$的关系
在得到中心化数据$X'$、$Y'$的模型$\text{y}'=\textbf{w}'\textbf{x}'$后
我们再反推出原始数据的模型

由于$X'$、$Y'$是$X$、$Y$中心化后的数据，
所以变量$\textbf{x}$与$\textbf{x}'$,$\text{y}$与$\text{y}'$之间的关系为：
 
 $\textbf{x}'= \textbf{x} - \bar{X}$
 $\text{y}' = \text{y} - \bar{Y}$
 
从而得到：

 $\begin{array}{lrlll} & \text{y}'&=&\textbf{w}'\textbf{x}' \\ \Rightarrow & \text{y} - \bar{Y} &=& \textbf{w}'(\textbf{x}-\bar{X})\\ \Rightarrow &\text{y} &= &\textbf{w}'\textbf{x} - (\textbf{w}'\bar{X}+\bar{Y}) \end{array}$

   实际操作   

1.数据中心化
先将原始数据X，Y进行中心化，得到
$X' = X-\bar{X}$
$Y' = Y-\bar{Y}$

2.训练无阈值模型
使用中心化数据X',Y'训练无阈值模型
 $\text{y}'=\textbf{w}'\textbf{x}'$

3.反推出原数据的带阈值模型
根据无阈值模型的参数$w'$和中心值，
反推出原数据的带阈值模型
$\text{y}=\textbf{w}\textbf{x} +b$
其中
 $\textbf{w}= \textbf{w}'$               
 $b= -\textbf{w}'\bar{X}+\bar{Y}$

 End