本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
逻辑回归的多分类模型实际是在二分类的基础上进行拓展得到，
因于它利用到softmax函数，因此也称为softmax回归
本文介绍多类别逻辑回归(softmax回归)的模型表达式及其损失函数
本节介绍多类别逻辑回归(softmax回归)的模型表达式
多类别逻辑回归的模型表达式
多类别逻辑回归是二分类逻辑回归的扩展
它的模型表达式如下
其中,
补充：它在二分类时，与sigmoid形式的表达式是一致的
详见《辨识：为什么说softmax是sigmoid的扩展》
本节介绍多类别逻辑回归(softmax回归)的损失函数
包括它的原始定义形式和常见形式
多类别逻辑回归模型损失函数的定义形式
与二分类逻辑回归的损失函数意义保持一致，
即“在模型预测的概率下，在知道所有样本的真实标签所获得的信息量”应该越小越好
即最小化以下函数：
K ：类别的个数
：模型对第i个样本预测为k类的概率
✍️补充：多类别逻辑回归损失函数的解读
就是先把真实标签为类别k的样本提取出来，
然后求得模型对这些样本判为k类的概率，
再计算“知道这些样本的真实标签为k”时所获得的信息量
综上，整体的意思为：
“基于模型的预测概率下，知道第k类样本的真实标签”时所获得的信息量
最后通过外层的求得所有类别所获得的信息量
多类别逻辑回归模型的常用损失函数形式
模型预测结果与样本标签的数据表示形式
假设共有N个样本，K个类别，
模型更常见的，是以如下形式表示样本的真实标签和模型的预测概率
Y和P都是N行K列的矩阵
Y的第n行k列的元素代表第n个样本“是否是类别k”
P的第n行k列的元素代表模型预测第n个样本“是类别k”的概率
softmax回归的损失函数
在以上数据形式的基础上，
softmax回归的损失函数可以写成以下形式：
✍️补充：多类别逻辑回归损失函数的解读
由于不属于第k类的样本都为0，属于第k类的样本为1
所以，就相当于原始定义中的
也就是“基于模型的预测概率下，知道第k类样本的真实标签”时所获得的信息量
最后通过外层的求得所有类别所获得的信息量
相关参考文献
1.《Pattern recognition and machine learning》 4.3.4节 -多类别逻辑回归
End