模式识别课件(总顺序 No2)(第二章 NO1)(张 凤)(070926)

null第二章　统计判决及其参数统计第二章　统计判决及其参数统计2.1 引言2.1 引言 模式的确定性和不确定性 如何确定模式类别 模式的不确定性 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示 一、模式的确定性和不确定性一、模式的确定性和不确定性 一个模式经某种数字变换后，映射为一特征向量，该特征向量可理解为特征空间的一个点。而在特征空间中，属于一个类Wi的点集，总是在某种程度上与属于另一类Wj (i≠j)的点集相分离。 在决策论模式识别方法中，模式分类的问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ，就是把特征空间分割成若干个区域，使每一区域对应一个模式类别。 null 模式识别是一种分类问题，即根据识别对象特征所呈现的观察值，将其分到某个类别中去。 但是如何确定模式类别呢？ 若根据以往大量的观察，知道模式类别的分布，并且能找出n维特征空间中模式类别之间的分界（决策分界或分离函数），而且该决策分界不依赖于条件分布密度，并呈几何分布（线性或者非线性），那么它就能处理确定可分问题—---即模式的确定性分类方法。（如图2-1） 确定性分类方法可理解为通过 　几何的方法，将特征空间分解 　为对应于不同类别的子空间。 　　图 2-1null但在实际中存在下列问题： 样本不确定性问题 因为试验样本是从总体中随机抽取的，不能保证用过去抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。 由于特征选择的不完善所引起的不确定性 因为实际应用中，由于各种原因（技术，经济等），抽取和选择到的特征不一定能完整地描述此模式，或不能提供一个明确的分类边界，这将影响到识别的正确性。 实际测量到的特征发生畸变后引起的不确定性 　　因为在采集、预处理、特征的抽取过程中，由于干扰和噪声而产生的错误。 nullx1x2 图 2-2所以：模式的不确定性主要表现在模式类别的不确定性上。 例如：样本集的空间发生重叠时（如图2-2所示） 二、模式的不确定性表示二、模式的不确定性表示模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去。 统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分析器的设计起指导作用。 统计决策理论就是利用概率统计（Bayes决策理论）的方法描述不确定性，它是统计模式识别中的一种基本方法。null假设待识别的对象有d 种特征观察量 ,…, ，由其构成d维特征空间 　　另设模式类别有c个，各类别状态用 表示。(i=1,……,c) 概率统计方法涉及 １、类先验概率 类。由事先统计决定（即已知）。 即先于识别之前就已经知道的概率，其反映对它类别的可能性的先验知识。 ２、类条件概率密度函数 　 类存在条件下，X（待识别对象）属于　　类的概率（也要求已知）。 即类别状态为 时， X的概率密度函数。 ３、后验概率 　 X发生时，X属于 类的概率。它是一个待求量。2.2 贝叶斯(Bayes)决策理论 一、基于最小错误率的贝叶斯(Bayes)决策2.2 贝叶斯(Bayes)决策理论 一、基于最小错误率的贝叶斯(Bayes)决策 　　模式分类问题中，人们希望尽量减少分类的错误，从这样的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率为最小的分类 规则 编码规则下载淘宝规则下载天猫规则下载麻将竞赛规则pdf麻将竞赛规则pdf 。 1、引出事例：癌细胞的识别 　　　假设每个要识别的细胞已作过预处理，抽取d个表示细胞基本特性的特征，组成一个d维空间的向量x，识别的目的是将x分类为正常细胞或者异常细胞。用决策论的术语来讲就是将x归类于两种可能的自然状态之一，如果用　　表示状态，则 = 表示正常 = 表示异常null　类别的状态是一个随机变量，而某种状态出现的概率是可以估计的。这就指在识别前已知正常状态的概率P(w1)和异常状态的概率P(w2) 。 在两类别问题中显然存在P(w1) +P(w2)=1。如果不做细胞特征的仔细观测，只依靠先验概率P(w1)和P(w2)来做决策的话，那么决策规则就应为：若P(w1) >P(w2)则作出w=w1的决策；反之，则作出w=w2 的决策． 此例中由于P(w1) >P(w2) ，所以如果仅按先验概率决策就会把所有细胞就归于正常类。这是由于先验概率提供的分类信息太少。 null2、Bayes决策规则 以两类模式（w1和w2 ）为例，根据Bayes公式： （2-1） 即利用Bayes公式将先验概率转化为后验概率。 则基于最小错误概率的Bayes决策规则为： 若P(w1|x)>P(w2|x)，则x∈w1 ；反之则x∈w2 （2-2） 或P(wi|x)=maxP(wj|x) ，则x∈wi (i=1,2) （2-3） null３、Bayes决策规则的等价形式 （１）由Bayes决策规则和Bayes决策公式可得 若P(x|w1)·P(w1)> P(x|w2)·P(w2)， 则x∈w1，反之x∈w2； （2-4） 或若 　则 x∈wi　(i=1,2) 　　　　　　 （2-5） null（2）对前面（2-4）公式进行变化后有 若 　　　　 　　则 , 反之 　　　　　(2-6) 似然比　　　　　　　　　　　　　　　似然比阈值 （３）对公式（2-6）取对数的正或负值可有若干形式 　　　　　　　(2-7) 　　(2-8) 　 null所以若　 　　 　则 x∈w1，反之x∈w2 (2-9) 另有若 　则x∈w1，反之x∈w2 　 (2-10) 例２.１例２.１ 假设在某个局部地区细胞识别中的正常(w1)和异常(w2)两类的先验概率分别为 　　正常状态：P(w1)=0.9； 　　　　　　 　　异常状态： P(w2)=0.1； 　　　　　　 　 现有一待识别的细胞。其观察值为x，从类条件概率密度 分布曲线上查得P(x|w1)=0.2， P(x|w2)=0.4。 　试对该细胞x进行分类。null解：利用贝叶斯公式，分别计算出w1及 w2 的后验概率。 　　 　　 根据贝叶斯决策规则，有 　　 所以将该细胞x归类于正常状态w1。 null4、Bayes下的特例决策 以两类模式为例，若有 （1）若对某一待识对象x，有P(x|w1)=P(x|w2) 则说明x未提供关于类别状态的任何信息，则判决完全取决于先验概率。 （2）若P(w1)=P(w2) ，则判决完全依赖于类条件概率密度。 （3）除上述两种情况外， Bayes法则提供最小错误率的判决。 null5、最小错误率的证明 （1）判决函数与分解线/面 　 设有待识别对象X，共有w1,…,wc类。 　 Bayes的判决函数gi(x)为 （2-11） gi(x)的作用就是将特征空间分割成c个决策区 域 R1,…,Rc ，在Ri区域中应满足下式。 gi(x)>gj(x) j  i 则 Xi （2-12） null 而决策线/面是满足下式的X 　 且 　与 　相邻　　 （2-13） 若退化为两类问题，则只需要一个判决函数 > 0 , g(X) = g1(X) – g2(X) < 0 . null(2)错误率 此错误率是指平均错误率P(e)，P(e)是分类(条件)错误概率P(e|x)的数学期望，其定义为： P(e) = ∫- P(e|x) P(x) dx （2-14） 对于两类问题，则判别函数将特征空间R分为 和 两个子区域，且 R1  R2 = R ， R1  R2 =  （2-15） 当 XR1 时，判 类； 当 XR2 时，判 类；null在一维情况下，可表示为图示。 根据Bayes决策规则 •　若 则决策判为 这时X’的条件错误概率为 P( |x’)。 •　反之，则X’的条件错误概 率为P( |x’)。 故有　　　　　　　　　　　　　　　　　　　　 　　　　　　　　　　　　　　null 这种情况实际上是将实属　 类的模式判属　 类， 发生此错误的原因是属于　 类的模式在特征空间中散布到 中去，从而将其判为属于 类。 如果令t为两类的分界点，则 P(e) = ∫t- P( |x) P(x) dx + ∫t P( |x) P(x) dx = ∫t- P(x| ) P( ) dx + ∫t P(x| ) P( ) dx = P(XR1, ) + P(XR2, ) = P(XR1| ) P( ) + P(XR2| ) P1( ) = P( ) ∫R1 P(x| ) dx + P( ) ∫R2 P(x| ) dx = P( ) P2(e) + P( ) P1(e) null（平均）错误率正是图中斜线面积Δ和ΔΔ之和。 注意：若两类的分界面/线t向右（或向左）移，如移到x’处，则P(e)的面积还要加上ΔΔΔ，所以只有分界面在t处时，P(e)才最小。 而由Bayes决策规则知，其决策面／线就在t处，　　　(即　　　 )，故Bayes决策规则（自动）满足最小错误率的要求。 以上所述为两类的分法，而对多类决策的最小错误率的Bayes规则的推法于两类相似。二、基于最小风险的Bayes决策二、基于最小风险的Bayes决策风险即损失的平均值。 基于最小风险的Bayes决策就是将各种分类错误而引起的损失都考虑进行的Bayes决策法则。 1 引出示例 癌细胞的识别 某一观测/待识别对象x，若是癌细胞(w2)，但误判为正常细胞(w1)，这必然产生损失(λ12) ；而若x是正常细胞w1，却误判为w2，这也产生损失(λ21) ，自然是这两种误判的结果不同，即λ12 >λ21 。如下图所示。null设对x，我们所作的决策是 a1时，为正常状态w1， 决策是a2时，为异常状态 w2。12λ21λ11λ1a2aijλ22λ2 风险2 风险(1) 损失函数（亦称风险函数） 以c类为例 　 设损失函数记为λ(ai,wj); (i=1,2,…,c; j=1,2,…,c) λ (ai,wj)(简记为λi j／li j)是指对于观察x，若x∈wj，但误判为x∈wi（即所采取的决策为ai时）所造成的损失/风险。 换句话说就是，λ (ai,wj)表示当真实状态为wj，而所采取的决策为ai时，所带来的损失。null(2) 条件风险 条件风险R(ai|x)：由某一观察x决定采取决策ai的条件期望损失。即(设有c类) 说明：① 观察值x’的变化范围是整个特性空间，而对其中的某一个值x，则可有n个决策可供选择，对任一决策ai就有一个R(ai|x)。(i=1,2,……,n) ② 在决策ai时，对于c个中的每一个λ (ai,wj) (j=1,2,……,c)都有一对应的概率为p(wj|x)。 （2-18）null③ 对于观察值x’的不同变化，就会有不同的n个决策供选择，也就是说决策a是x的函数，记为a(x)—随机变量。 　对于两类，则为 由此可知：对于给定的x，如果采取决策a1，则损失函数可以是λ11或λ12，它们的概率分别为p(w1|x)或p(w2|x)。 null(3) 期望风险(亦称总风险) 期望风险R为 说明： ① R反映对整个特征空间上所有x的取值采取相应的决策a(x)所带来的平均风险。 而R(ai|x)只反映了对某一x的取值采取决策ai所带来的风险。 ②显然我们要求采取的一系列决策行动a(x)使期望风险R最小。 （2-19）3 最小风险判决3 最小风险判决最小风险判决就是使总风险R最小。 而在R中的a(x)为对每一个x所可能取的决策a1,a2,…,ac（c为决策个数）中的一个。显然若选择a(x)使对每一x有R(a(x)|x)极小的话，则总风险R也最小。 也就是说，若在采取每一决策时，都使其条件风险最小，则对所有的x作出决策时，R也必然最小。 ∴ 最小风险判决就是在条件风险中找最小者。 null即：设有c类，a种决策，那么对于某个观察值x， 若有 　　　 （2-20） 则 a=ak （即应采取的决策为ak）(或述为x∈wk)4 基于最小风险的贝叶斯（Bayes)决策4 基于最小风险的贝叶斯（Bayes)决策(1) 多类(c类)情况 　Bayes公式： 　　　　　 　条件风险为： 　　 　　 　则对待识别对象x，要求计算出所有的R(ai|x)值,(i=1,…,a) 　再取最小，即 　则ak就是最小风险下Bayes作出的决策。　null(2) 两类情况 设类别为w1和w2，决策为a1和a2； 若令决策a1表示“决策为w1类”，a2表示“决策为w2 类”； λ(ai,wj)(下简称li，j)表示真类别为wj，却判为wi所产生的损失。 则 　当 　　　　　　　　时，采取行动a1，损失较小。即决策为w1类，x∈w1； 　否则是决策a2，x∈w2。 　　（2-21） 将(2-21)两式带入不等式R(a1|x) R(a2|x) ∴采取决策a2，即待识别对象x∈w2 解2：利用似然比表示式判决 ∵ 0.2/0.4=0.5<((6-0)*0.1)/((1-0)*0.9)=0.667 　　　　　 ∴同样得上结论。 5 0-1损失函数下的最小风险Bayes决策5 0-1损失函数下的最小风险Bayes决策C类下，λ(ai,wi)=0，λ(ai,wj)=1，　(i≠j) 即λ(ai,wj)对于正确决策（即i=j）没有损失，而对于任何错误决策，其损失均为1，即所有错误的代价是一样的。这也是一种对称损失函数的情况。 这时条件风险为： 决策ai正确时的条件概率null 要使R(ai|x)极小，即要使后验概率p(wi|x)极大，所以为使条件风险达到极小，根据公式(2-2)必有： 若 　　　　　　　对一切i≠j成立 则决策为wi。 易见0-1损失的最小风险Bayes决策与最小错误概率Bayes决策是相同的。