本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
sigmoid和softmax是机器学习中常用的函数，它们都可以把一个数值转换为概率
而sigmoid只用于做二分类，softmax则可以用于多分类，
两者之间有什么联系呢？本文讲解为什么说softmax是sigmoid的扩展
本节回顾sigmoid函数与softmax函数意义,为下文的分析作铺垫
sigmoid函数与softmax函数意义
先看两个函数的表达式
首先，我们要明白两个函数及它们的自变量和的背景意义
sigmoid的背景意义回顾
sigmoid函数用于二分类，其中，z是一个数值，
z代表“属于类别1“和”属于类别0“的信息量之差
在这背景意义下，可以用代表属于类别1的概率
softmax的背景意义回顾
softmax函数用于多分类，其中，是一个向量，
里的每个元素代表“属于各个类别”的信息量
在这背景意义下，可以用softmax函数表示属于各个类别的概率
本节通过验证softmax在二分类时与sigmoid是一致的，
以此说明softmax是sigmoid的扩展
sigmoid和softmax在二分类时的一致性
为什么说softmax是Sigmoid的扩展,
这主要因为sigmoid和softmax在二分类时是一致的
统一自变量的意义
首先，需要把它们表达式的自变量统一到同一意义上,即如下：
验证二分类时的一致性
在二类别判断时，设属于类别0和属于类别1的信息量分别是,
用Sigmoid函数判别属于类别1的概率，则为：
用softmax函数类别属于类别1的概率，则为
对进一步化简，就可以得到
可以看到，用softmax和Sigmoid得到的结果是一致的
End