null 第2章 贝叶斯决策理论 第2章 贝叶斯决策理论null贝叶斯决策理论
统计模式识别的主要方法之一
随机模式分类方法的基础 采用贝叶斯决策理论分类的前提：
目标（事物）的观察值是随机的，服从一定的概
率分布。
即：模式不是一个确定向量，而是一个随机向量。 用贝叶斯决策理论分类的要求：用贝叶斯决策理论分类的要求：各类别总体概率分布是已知的
P(wi)及p(x/wi)已知，或P(wi/x)已知
决策分类的类别确定特征向量、特征空间：特征向量、特征空间： 设某个
样本
保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载
（模式），可用d个特征量x1, x2,…,xd来刻化，即x=[x1, x2,…,xd]T ——表示样本的特征向量特征空间：这些特征的取值范围构成的d维空间，
为特征空间。 每一个样本可看作d维空间的向量或点特征向量:null相关统计量：
P(wi)—类别wi出现的先验概率 p(x/wi)—类条件概率密度，即类别状态为wi类时，出现模式x的条件概率密度，也称似然函数。p(x)—全概率密度P(wi/x)—后验概率，即给定输入模式x时，该模式属于wi类的条件概率。P(wi ,x)—联合概率 相互关系：相互关系：贝叶斯公式：需解决的问题：需解决的问题： 设：样本集X，有C类别，各类别状态为wi ，i=1,…,C。已知P(wi)及p(x/wi) 要解决的问题是：
当观察样本x=[x1, x2,…,xd]T 出现时，如何将x划归为某一类。方法：方法： 已知类别的P(wi)及x的p(x/wi)，利用贝叶斯公式，可得类别的后验概率P(wi /x) 再基于最小错误概率准则、最小风险准则等，就可统计判决分类。2.2 几种常用的决策规则2.2 几种常用的决策规则1．基于最小错误率的贝叶斯决策分类准则：错误率最小讨论两类问题的决策： w1, w2例如：癌细胞检查、产品质量等null合理决策依据：根据后验概率决策 已知后验概率P(w1|x), P(w2|x)，
决策规则：
当P(w1|x)>P(w2|x) xw1，
当P(w1|x)
检测
工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训
)；
基于区域的方法（依据某种相似性判决标准，考察像素间的相似程度，将像素划分到不同类） 。实例null基于最小错误率贝叶斯决策分割图像null 由于苹果表面色彩的不一致性，边缘检测法往往会把果面一些点也作为边缘点误检测出来。贝叶斯方法更适合检测苹果的大小、形状和表面缺陷边缘检测方法对图像中的噪声敏感最小错误率贝叶斯决策进行图像分割则可避免 将目标和背景作为两类进行判别,得到较准确的图像分割结果，能明确其大小和位置，且对图像中果面噪声点有较好的抑制作用,无须滤波。null3．聂曼—皮尔逊决策规则
（Neyman—Pearson) 实际中存在以下几种情况：
(1) P(wi)不知
(2) ij损失函数不知
(3)某一类错误较另一类错误更严重 限定一类错误率条件下，使另一类错误
率为最小的两类决策 问题null针对(1)，采用最小最大损失准则—基于最坏情况下，平均代价最小
针对(2)，采用最小错误率决策准则
针对(3)，采用N-P（聂曼—皮尔逊）决 策准则。另外， (1) 、(2)均不知，仅知道类概率密度时，可用N-P准则。nullN-P准则：讨论两类问题 平均错误率： 但在多数模式识别系统中，p(wi), i都可预先规定，∴贝叶斯判据用得最广N—P基本思想：N—P基本思想：0是很小的常数 取p2(e) 常数条件下，使p1(e) 最小，由此确定判决阈值t，即：为使p1(e)最小，适当选择正数，使最小化拉格朗日乘子法：
null式中 xw1 而错判为w2的错误概率 xw2 而错判为w1的错误概率根据类条件概密性质
（R=R1+R2，整个特征空间，R1与R2不相交）null(是t的函数，即R1 是变量) 要使最小，就是选择R1，R2的边界t，由此再选择最佳，使最小。null上式可写为为使最小化，分别对t，求导，可得极值解。∴ t是0的函数，0定后可找出t。由此确定边界面t，即确定R1、R2null决策阈值N-P决策过程：N-P决策过程：N-P决策过程：1.已知0，由计算区域R1，即确定分界点t2. 由t，计算出
3. N—P判决规则为：∴ 只知道类条件概密时，可用N—P规则三种决策的联系（似然比的决策门限不同）三种决策的联系（似然比的决策门限不同）最小错误率贝叶斯决策最小风险贝叶斯决策2.2.4 最小最大决策2.2.4 最小最大决策 在P(wi)不知或变化时，如何使最大可能的总风险最小化，即最坏情况下争取尽可能减小。固定的阈值不可能给出最优结果，平均损失变大。实际中P(wi)变化，且变化范围较大，甚至不知。不能按最小风险贝叶斯决策 应采用最小最大决策讨论两类问题：讨论两类问题：损失函数ij：
当xwj时，决策为xwi的损失，i,j=1,2作出错误决策比作出正确决策所带来的损失更大∴21>11, 12>22
下面给出 R与P(w) 的函数关系:null平均风险（即总风险、也称期望风险）：根据R(i/x)定义及贝叶斯公式1的决策区域2的决策区域（将 R表示成P(w) 的函数）null利用 代入上式,整理得：其中：目的：需要分析平均风险R与P(w1)的关系
用P(w1)表示平均风险R:null可见：1）一旦决策区域R1，R2确定，即a, b为常数，平均风险R就是P(w1) 的线性函数 ；即P(w1)变化时， R1，R2不作调整，则平均风险R与P(w1)呈线性关系。 2）P(w1)变化时，决策区域R1，R2划分也变化，即a,b变化， 则平均风险R与P(w1)是非线性关系。 求R与P(w1)的关系曲线：即R=f[P(w1) ] null先取定P(w1)求RP(w1)曲线：按最小风险贝叶斯决策确定分类面，即确定决策区域R1，R2利用上式求相应的最小风险R*P(w1)从01取若干个值，重复上述过程，得到R*P(w1)关系曲线见图2.4null∴ R与P(w1)是非线性关系，且曲线上R值都对应每个P(w1)值的最小风险损失。图中R*是当P(w1)＝P* (w1)时的最小风险值 。null 如果区域R1、R2确定（a,b为常数），意味判别门限固定。当P(w1) 变化时，R与P(w1)为线性关系。显然，得不到最佳结果，因CD直线在曲线上方 ，且aRa+b这时R最大可能的风险值为：R=a+b （图中D点） 不希望！见图中CD直线null 取不同的固定门限，有不同直线，对应的R最大值不同。直线EF的最大值R=a+b ∵P(w1)是不知或变化的，∴考虑如何使最大可能风险为最小null 如果有某个P(w1)，使最小风险决策得到的区域R1、R2能使b=0，则 这时R与P(w1)无关，即最大可能的风险达到最小值为anull方法：2）找出极值点后，该点的切线就为水平线，这时总风险R与P(w1)无关；∴b=0，意味决策区域的划分使平均风险R达到曲线的极大值（最小风险的极大值）。令其为0，得极大值，null见图2-4b，当P(w1)=P*M(w1)时，R=R*M为最大值。 对应决策区域不变时，R与P(w1)的关系为一条平行线CD，即不管P(w1)如何变化，风险不再变化 。
∴使最大风险达到了最小化！null总结： 当P(w1)变化时，应选使风险R达最大值（b＝0）时的P*(w1)来设计分类器。在这种分类决策区域，能保证不管P(w1)如何变化，最大风险为最小值a。∴最小最大决策任务就是寻找使R最大时的决策域R1，R2 ，即求b=0的决策域，由2-35求解。null2.2.5 序贯分类方法 实际中，为得到x的d个观测值，要花费代价。 考虑每个特征值提取所花的代价，最优分类结果不一定将d个特征值全部使用；
另外，虽然特征数目增多，一般判决风险R(i/x) 降低，但每个特征值贡献不同。 ∴排队从大小，每投入一新特征，计算一次R，同时计算获取新特征应付出的代价与该特征对R的贡献之和，比较后决定是否加入新特征。
－－－序贯分类方法null2.2.6 分类器设计 c类分类决策问题：按决策规则把d维特征空间分
为c个决策区域。决策面：划分决策域的边界面称为决策面。
数学上用决策面方程表示。几个概念判别函数：表达决策规则的函数，称为判别函数。null1）定义一组判别函数根据决策规则讨论具体的判别函数、决策面方程、分类器设计nullnullnull一般地 是单调递增函数，则分类结果不变 2）决策面方程（即判决边界）若类型wi与wj的 区域相邻，它们之间的决策面方程为null图2.5(a)为一维特征空间的三个决策区域（d=1），决策面为分界点；根据判决规则，建立分类器结构图2.5(b)为二维特征空间的两个决策区域（d=2），决策面为曲线；三维特征空间，分界处是曲面；
d维特征空间，分界处是超曲面。null3）分类器设计 （硬件＋软件）功能：null例：图2-6 分类器的组成d维空间null再由结果的正负作决策，可简化设计。见图2-7例2.3null2.3 正态分布时的统计决策（研究
贝叶斯分类方法在正态分布中的应用）很多时候，正态分布模型是一个合理假设。
在特征空间中，某类样本较多分布在这类均值附近，远离均值的样本较少，一般用正态分布模型是合理的。 a、正态分布在物理上是合理的、广泛的。
b、正态分布数学上简单，N(μ, σ ²) 只有均值和方差两个参数研究的理由：null1.一维正态分布，见式2－43 （常见）null2.多维（d维）随机向量x的正态分布
由多元联合概率密度描述其中：d维特征向量d维均值向量且nullnull1）参数、对分布起决定性作用，即p(x)由、确定， 记为N(,)，2） 等密度点轨迹为超椭球面，区域中心由μ决定，区域形状由∑决定。正态分布特点：称为超椭球面即等密度点满足当指数项为常数时，p(x)值不变null在数理统计中被称为马氏距离的平方（Mahalanobis）∴ 等密度点轨迹是x到u的马氏距离r为常数的超椭球面，其大小是样本对均值向量的离散度度量。最小错误率贝叶斯决策规则变为：如果x到期望向量ui的马氏距离最小，则xwinull3）不相关性等价于独立性
对于正态分布的随机向量x，若xi和xj之间不相关，则它们一定互相独立不相关： 独 立： 推论：是对角阵，xi i=1,…,d，互相独立null5） 线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。即则4） 边缘分布和条件分布仍是正态分布
例是正态分布，则是正态分布也是正态分布null 即：总可以找到一组坐标系，使变换到新坐标系的随机变量是独立的（重要！） 因此，总可以找到一个线性变换矩阵A，使y的协方差阵AAT为对角尺寸，这时y的各分量之间独立。 6）线性组合的正态性null2.3.2 正态分布下的最小错误率
贝叶斯判别函数和决策面 i=1,…,c其中1．判别函数最小错误率判别函数是：服从 null进行单调的对数变换，则判别函数为：决策面是超二次曲面，如：超平面，超球面，超椭球面null2．决策面方程即：null3．特殊情况1）对所有类即：各类协方差阵相等，且都是对角矩阵 。→对角线为2，非对角线为零∴判别函数为：null则判别函数变为： 得到欧氏距离的度量值，它是马氏距离度量的一个特例。
即：等密度点是圆形null欧氏距离则贝叶斯决策规则变为最小距离分类规则。最小距离分类法：其判别规则为：若 ，则null即：计算样本x与μi的欧氏距离，找最近的μi把x归类 例：设一维特征空间（d=1）的样本分布
u1=55.28，u2=79.74若 则 否则null则判别函数： 其中 ， 即：——是线性判别函数，称为线性分类器null对于两类情况：null决策面方程：其中推出：决策面是一个通过x0，且与向量w正交的超平面超平面方程分类平面的法向量null讨论：（两类情况）nullnull 求样本x与各类均值的马氏距离，把x归于最近一类——最小距离分类器。null决策规则：null对于两类情况：null讨论：（针对ω1，ω2二类情况）null3、第三种情况(一般情况)：二次项xTΣίx与i有关。判别函数为二次型函数。Σί为任意，各类协方差矩阵不等。null总结：最小错误率贝叶斯决策；1.分类法最小风险贝叶斯决策；聂曼－皮尔逊决策规则(N－P）
（仅知道类概密时，可使用，针对两类）最小最大决策
（当不确切知道P(wi)，且在类别判决过程中，P(wi)又是变化的，易采用~，它使决策平均风险达极值，而换取的是分类过程中最大平均风险达最小值，且不随p(wi)变化）。序贯分类方法
（观测的代价和风险都要考虑）null2.分类器设计：判决函数、决策面方程（判决的边界）3.贝叶斯方法在正态分布中的应用总之，正态分布具有普遍性，数学上易计算，
广泛应用。
(1)特性null贝叶斯（ Bayes ）分类的算法
流程
快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计
（假定各类样本服从正态分布）1）输入类数c；特征数d，待分样本数m
2）输入训练样本数N和训练集资料矩阵X(N×d)。并计算有关参数。
3）计算待测样本集矩阵y中各类的后验概率。
4）若按最小错误率原则分类，则可根据步骤3 的结果判定样本集y中各类样本的类别
5）若按最小风险原则分类，则输入各值，并计算y中各样本属于各类时的风险并判定各样本类别。null例：有训练集资料矩阵如下表所示，已知训练样本数N=9、其中N1=5、N2=4；d=2、c=2，试问，x=(0,0)T应属于哪一类？null解：均值为:nullnullnullnullnull1.在下列条件下，求待定样本x=(2,0)T的类别，画出分界线，编程上机。
（1）二类协方差相等，（2）二类协方差不等。补充作业习题：2.23null2． 设以下模式类别具有正态概率密度函数：（ 选作）
浙公网安备 33021202002483