机器学习-示例与随笔

【推导】线性模型的样本中心化

作者 : 老饼 发表日期 : 2022-08-08 15:25:55 更新日期 : 2024-10-10 21:01:06
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



本文讲述带阈值的线性模型与无阈值线性模型之间的转化方法





  01. 线性模型的样本中心化



本节介绍如何通过"样本中心化"的方法,将线性模型转为无阈值线性模型



   思路与推导   


对于无阈值的线性模型y=wx\text{y}=\textbf{w}\textbf{x},如何使它适用于需要阈值的样本呢?
如果样本的中心是处在原点的,
那么,完全就可以用模型 y=wx\text{y}=\textbf{w}\textbf{x}来拟合,而不需要用y=wx+b\text{y}=\textbf{w}\textbf{x}+b
因此,可以先把数据中心化,即
 X=XXˉX' = X-\bar{X}
 Y=YYˉY' = Y-\bar{Y}
然后使用模型y=wx\text{y}'=w'x'拟合XX'YY'的关系
在得到中心化数据XX'YY'的模型y=wx\text{y}'=\textbf{w}'\textbf{x}'
我们再反推出原始数据的模型
由于XX'YY'XXYY中心化后的数据,
所以变量x\textbf{x}x\textbf{x}',y\text{y}y\text{y}'之间的关系为:
 
 x=xXˉ\textbf{x}'= \textbf{x} - \bar{X}
 y=yYˉ\text{y}' = \text{y} - \bar{Y}
 
从而得到:

 y=wxyYˉ=w(xXˉ)y=wx(wXˉ+Yˉ)\begin{array}{lrlll} & \text{y}'&=&\textbf{w}'\textbf{x}' \\ \Rightarrow & \text{y} - \bar{Y} &=& \textbf{w}'(\textbf{x}-\bar{X})\\ \Rightarrow &\text{y} &= &\textbf{w}'\textbf{x} - (\textbf{w}'\bar{X}+\bar{Y}) \end{array}




   实际操作   


1.数据中心化
先将原始数据X,Y进行中心化,得到
X=XXˉX' = X-\bar{X}
Y=YYˉY' = Y-\bar{Y}

2.训练无阈值模型
使用中心化数据X',Y'训练无阈值模型
 y=wx\text{y}'=\textbf{w}'\textbf{x}'

3.反推出原数据的带阈值模型
根据无阈值模型的参数ww'和中心值,
反推出原数据的带阈值模型
y=wx+b\text{y}=\textbf{w}\textbf{x} +b
其中
 w=w\textbf{w}= \textbf{w}'               
 b=wXˉ+Yˉb= -\textbf{w}'\bar{X}+\bar{Y}











 End 








联系老饼