本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
贝叶斯判别函数是应用于分类问题的一类判别模型，LDA、QDA算法都以它为基础
本文讲解贝叶斯判别函数与它的一次判别形式、二次判别形式，包括公式、原理以及推导过程
通过本文可以了解什么是贝叶斯判别函数，以及贝叶斯一、二次判别函数是如何推导得到的
本节介绍什么是判别函数，以及贝叶斯判别函数的原理与公式
什么是判别函数
什么是判别函数
判别函数模型是机器学习中解决分类问题的一种模型形式
在分类问题中，需要判断样本属于哪个类别，判别函数模型的解决思路为：
对每个类别都设置一个判别函数，有多少个类别就有多少个判别函数
每个判别函数都输出一个判别值，第k个判别函数输出的就是类别k的判别值
然后比较各类别的判别值，哪个类别的判别值最大，就认为样本是哪一类别
特别地，当类别只有两个时，即二分类时，此时只需要一个判别函数
当判别函数大于某个阈值时，就认为样本属于正样本，否则属于负样本
线性判别与二次判别
当判别函数为线性函数时，即 时，一般称其为线性判别模型
当判别函数为二次函数时，即 时，称为二次判别模型
什么是贝叶斯判别函数
贝叶斯判别函数
叶斯判别函数是基于贝叶斯原理推导得到的判别函数，是机器学习中一种常用的判别函数
贝叶斯判别函数如下：
其中，P(属于类别k)是样本属于类别k的概率，
而P(表现为特征Xi|已知属于类别k)是已经知道样本属于类别k时它表现为的概率
贝叶斯判别函数的推导过程
贝叶斯原理为，在已知发生B条件下，发生A的概率为:
由贝叶斯原理可得，当样本表现为特征X时，则它属于类别 k 的概率为：
类别预测时，理论上比较上述各个类别的概率，将最大者作为样本类别即可
但由于上述概率公式中各类别的分母都一样，因此只需将分子进行比较即可
即可得到贝叶斯判别函数如下：
本节介绍贝叶斯二次判别函数的公式、原理以及推导过程
贝叶斯二次判别函数
贝叶斯的二次判别函数是贝叶斯判别函数在正态分布假设下的一种特殊情况
贝叶斯二次判别函数的假设如下：
第k类样本服从"均值为第k类样本的中心，方差为"的正态分布
贝叶斯二次判别函数的表达式如下：
其中，：第k类样本的中心，即第k类样本的均值
：第k类样本的协方差矩阵
：即P(属于类别k) ，一般用第k类样本在总样本的占比来估算
贝叶斯二次判别函数-推导过程
贝叶斯判别函数-正态分布下的形式
从上节可知，贝叶斯判别函数如下：
假设第k类样本服从"均值为k 类样本中心，方差为"的正态分布
即
则基于每类样本都服从正态分布的假设下，贝叶斯判别函数如下：
其中， ：x的维数，即特征个数
：第k类样本的中心，即第k类样本的均值
：第k类样本的协方差矩阵
：即P(属于类别k) ，一般用第k类样本在总样本的占比来估算
一般通过统计第k类样本在总样本的总比来估算
贝叶斯二次判别函数
对正态分布假设下的贝叶斯判别函数加上对数使其进一步简化，如下:
备注： 第三个等号中,由于是对称矩阵，所以
注意到 项对所有类别的判别函数都是一样的，可以不比较，则判别函数可化简如下
上式进一步整理，即得到贝叶斯二次判别函数如下：
本节讲解贝叶斯判别函数的线性判别形式，包括公式以及原理推导
贝叶斯线性判别函数
贝叶斯线性判别函数
贝叶斯线性判别函数是贝叶斯二次判别函数在同方差下的特殊情况
贝叶斯线性判别函数的假设如下：
每一类样本都服从"均值为该类样本的中心，方差为"的正态分布
贝叶斯线性判别函数如下：
其中，：第k类样本的中心，即第k类样本的均值
：样本的类内协方差矩阵
：P(属于类别k) ，即第k类样本在总样本的占比
贝叶斯线性判别函数(协方差为单位矩阵)
特别地，当为单位矩阵时，贝叶斯线性判别函数可以简化为：
其中，：第k类样本的中心，即第k类样本的均值
：P(属于类别k) ，即第k类样本在总样本的占比
矩阵形式为：
其中，：第k行是第k类的样本均值
：K维列向量,为P(属于类别k) ，即第k类样本在总样本的占比
贝叶斯线性判别函数-推导与方差估计
贝叶斯线性判别函数在贝叶斯二次判别函数的基础上进一步推导而得
贝叶斯二次判别函数如下：
假设所有类别服从的正态分布的方差都是一样的，即对所有的k都有
则此时和 对所有类别都是一样的，判别时不需比较
根据以上两点，即可得到贝叶斯线性判别函数，如下：
类内协方差估算方法
贝叶斯线线性判别中需要估计类别的协方差
由于所有类别的协方差相同，所以可由所有样本的类内协方差估算而得
的估算公式如下：
其中，：样本个数
：类别个数
：第k样类样本的均值
解释：即用所有样本与自身与所属类中心的方差，m-k是因为引入了k个中心点
的估算公式的矩阵形式如下：
其中，N是样本个数，与X维度一致，第行是第个样本所属类的中心
End
