贝叶斯决策理论

第2章贝叶斯决策理论概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策正态分布时的统计决策贝叶斯分类器设计小结概率论基础知识【概率论基础知识】(1)离散随机变量(2)数学期望(3)二阶矩与方差(4)成对离散随机变量(5)统计独立性(6)条件概率(7)全概率(8)贝叶斯公式【概率论基础知识】(1)离散随机变量(2)数学期望【概率论基础知识】(3)二阶矩与方差(4)成对离散随机变量设x,y是离散随机变量【概率论基础知识】(5)统计独立性（6）两个随机变量函数的数学期望【概率论基础知识】(7)条件概率(8)全概率(9)贝叶斯公式概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结贝叶斯决策基础知识2.1引言数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间【引言】基本概念模式分类：根据识别对象的观测值确定其类别样本与样本空间表示：类别与类别空间：c个类别（类别数已知）【引言】决策把样本x分到哪一类最合理？解决该问题的理论基础之一是统计决策理论决策：是从样本空间S，到决策空间Θ的一个映射，表示为D:S-->Θ【引言】评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策常用的准则：最小错误率准则最小风险准则在限定一类错误率条件下使另一类错误率为最小的准则最小最大决策准则【贝叶斯决策基础知识】贝叶斯决策理论先验概率：后验概率：类条件概率：贝叶斯公式：概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结基于最小错误率的贝叶斯决策【基于最小错误率的贝叶斯决策】最小错误率的贝叶斯准则：概念：在模式分类问题中，人们往往希望尽量减少分类错误，使错误率最小的分类规则，称为基于最小错误率的贝叶斯决策。（1）（2）（3）为似然比，为似然比阈值。其中，【基于最小错误率的贝叶斯决策】（4）【基于最小错误率的贝叶斯决策】【基于最小错误率的贝叶斯决策】【基于最小错误率的贝叶斯决策】错误率证明【基于最小错误率的贝叶斯决策】【基于最小错误率的贝叶斯决策】多类问题概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结基于最小风险的贝叶斯决策【基于最小风险的贝叶斯决策】概念决策决策空间前面所讲的错误率达到最小。在某些实际应用中，最小错误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如果把正常细胞判为癌症细胞，固然会给病人精神造成伤害，但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会使早期的癌症患者失去治疗的最佳时机，造成验证的后果。【基于最小风险的贝叶斯决策】数学描述【基于最小风险的贝叶斯决策】期望风险：条件期望损失：目的：期望风险最小化【基于最小风险的贝叶斯决策】最小风险贝叶斯决策规则:【基于最小风险的贝叶斯决策】算法步骤:【基于最小风险的贝叶斯决策】例题2:【基于最小风险的贝叶斯决策】【基于最小错误率的贝叶斯决策与最小风险的贝叶斯决策的关系】定理：0-1风险证明：概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策正态分布时的统计决策贝叶斯分类器设计小结正态分布时的统计决策【贝叶斯决策基础知识】贝叶斯决策理论先验概率：后验概率：类条件概率：贝叶斯公式：【两种贝叶斯决策】最小错误率的贝叶斯准则：（1）（2）（3）为似然比，为似然比阈值。其中，最小风险贝叶斯决策规则:【正态分布时的统计决策】为什么要用正态分布函数？1.物理上的合理性对于许多实际的数据集，正态性假设是一种合理的近似。2.数学上比较简便正态分布概率模型有很好的性质，有利于做数学分析。【正态分布时的统计决策】1.单变量正态分布单变量正态分布概率密度定义为图单变量正态分布概率密度函数应满足下列关系式【正态分布时的统计决策】1.单变量正态分布图单变量正态分布2.多元正态分布（1）多元正态分布的概率密度函数定义为1.参数对分布的决定性2.不相关性等价于独立性3.边缘分布和条件分布的正态性4.线性变换的正态性5.线性组合的正态性（2）多元正态分布的概率密度函数性质多元正态分布贝叶斯分类器设计【贝叶斯分类器设计】贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。（1）判别函数：用于表达决策规则的某些函数称为判别函数；（2）决策面：对于c类分类问题，按照决策规则可以把d维特征空间分成c个决策域，将划分决策域的边界面称为决策面。概念【贝叶斯分类器设计】两类问题1.判别函数（a）（b）（c）基于最小错误率的判别函数：【贝叶斯分类器设计】2.决策面方程例如【贝叶斯分类器设计】3.分类器设计+1w1-1w2g阈值单元x1x2xc决策图2.7两类分类器的构成【贝叶斯分类器设计】多类问题1.判别函数【贝叶斯分类器设计】2.决策面方程【贝叶斯分类器设计】3.分类器设计g1g2gc最大值选择器x1x2xca(x)决策对于例1和例2分别写出判别函数和决策面方程。例3对于例1和例2分别写出判别函数和决策面方程。例3判别函数:决策面方程:即多类判别函数:正态分布函数:多元正态概率型下的最小错误率贝叶斯判别函数和决策面第一种情况：式中可得由于从几何上看，各类样本落入以为中心的同样大小的超球体内。分析：判别函数:其中分析其中其中两类问题，1维特征，先验概率不同时：图一维情况其中决策面：两类问题，高维特征，先验概率不同时：二维情况三维情况两类问题，1维特征，先验概率相同时：其中决策面：一维情况两类问题，高维特征，先验概率相同时：高维情况第二种情况：第一种情况：分析：其中分析也就是决策面方程为：举例举例例：模式分布如图所示，两类均值向量和协方差矩阵可用下式估计。(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321两类均作为正态分布，并假设先验概率相等，求判别函数和决策面。(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321两类均作为正态分布，并假设，故判别函数为本章小结统计决策理论是模式分类问题的基本理论之一，它对模式分析和分类器的设计有实际的指导意义。贝叶斯决策理论是统计模式识别中的一个基本方法。贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1、已知类条件概率密度参数表达式和先验概率。2、利用贝叶斯公式转换成后验概率。3、根据后验概率大小进行决策分类。模式识别的分类问题是根据识别对象特征的观察将其分到某个类别中去。【本章小结】（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。（4）只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。（这是无监督的学习）（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。贝叶斯决策理论分析：（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。【本章小结】本章结束