【推导】逻辑回归模型sigmoid推导-基于信息量

本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com

总是疑问sigmoid函数怎么来的，怎么一下子就把WX转换成了概率
本文讲解，逻辑回归模型sigmoid函数由来的思路与推导

声明：由于没有找到具体的可靠文献，本文是笔者个人的理解，仅供参考

    01. 逻辑回归模型及其推导    

本节以信息量为基础，推导逻辑回归sigmoid模型是如何来的

      逻辑回归模型是如何来的     

逻辑回归模型的目的是判断样本为正样本的概率，
 
而当前我们并不知道样本的标签，但我们能获得的是样本的表征
因此，我们以样本的表征作为证据，一步一步去佐证样本究竟是正标签还是负标签就好了
逻辑回归模型原理与推导
在任何证据都没有的情况下，不妨设历史经验中，样本为正的概率为$P_{0}$，则有：
知道标签"为正"时，所获信息量  ： $h^{+} = -\ln(P)= -\ln(P_{0})$                  
知道标签"为负"时，所获信息量： $h^{-} = -\ln(1-P)= -\ln(1-P_{0})$       
由于现在提供了n个证据$x_1,x_2,...,x_n$，不妨假设:
证据$x_i$为"是正样本"这件事提供的信息量为$w_{i}^{+}x_i$
证据$x_i$为"是负样本"这件事提供的信息量为$w_{i}^{-}x_i$
因此在已知$x_1,x_2,...,x_n$时，最终获得的信息量应扣除这些证据所提供的信息量
    知道标签"为正"时，所获信息量  ：  $\small \displaystyle h^{+}= -\ln(P) = -\ln(P_{0})-\sum\limits_{i=1}^{N} w_{i}^{+}x_i$           
     知道标签"为负"时，所获信息量： $\small \displaystyle h^{-}= -\ln(1-P) = -\ln(1-P_{0})-\sum\limits_{i=1}^{N} w^{-}_{i}x_i$  
 需要注意的是，信息量可以直接相加的前提条件是事件独立，即每个变量之间独立
 
则样本"是正"和"是负"时的信息量差为：$\small \displaystyle \Delta h = h^{+}-h^{-}$,即：
 $\small \displaystyle \begin{aligned} -\ln P - (-\ln(1-P)) & = -\ln(P_{0})-\sum\limits_{i=1}^{N} w_{i}^{+}x_i -(-\ln(1-P_{0})-\sum\limits_{i=1}^{N} w^{-}_{i}x_i) \\ -\ln \dfrac{P}{1-P} &=-\ln \dfrac{P_{0}}{1-P_{0}}-\sum\limits_{i=1}^{N} (w_{i}^{+}-w_{i}^{-})x_i \end{aligned}$
不妨令 $\small b = \ln \dfrac{P_{0}}{1-P_{0}}$，$\small w_i=w_{i}^{+}-w_{i}^{-}$,则有：
 $-\ln \dfrac{P}{1-P} =-(\sum\limits_{i=1}^{N}w_{i}x_i+b)$

进一步化简，则有：
 $\displaystyle \begin{aligned} -\ln \dfrac{P}{1-P}&=-(\sum\limits_{i}w_{i}x_i+b) \\\ln \dfrac{1-P}{P}&= -(\sum\limits_{i}w_{i}x_i+b) \\ \dfrac{1}{P}-1&=e^{-(\sum\limits_{i}w_{i}x_i+b)} \\P&=\dfrac{1}{1+e^{-(\sum\limits_{i}w_{i}x_i+b)}} \end{aligned}$

   逻辑回归模型-总结   

总的来说，逻辑回归模型就是依靠一个一个的证据，来逐步增加对样本真实标签的认识
  逻辑回归模型表达式如下：
 $P(x) = \text{sigmoid}(XW) = \dfrac{1}{1+e^{-(w_1x_1+w_2x_2+....w_kx_k+b)}}$ 
其中$w_ix_i$与$b$的意义如下：
 $\small w_ix_i=w_{i}^{+}x_i-w_{i}^{-}x_i$，它代表每个证据$x_i$贡献给"正样本"和"负样本"的信息量差 
 $\small b = \ln \dfrac{P_{0}}{1-P_{0}}$，它代表历史先验概率贡献给"正样本"和"负样本"的信息量差       

 End