null贝叶斯分类器 贝叶斯分类器 刘振峰内容内容数学知识
几种常用的决策准则
判别函数、决策面与分类器设计1.概率论基本知识1.概率论基本知识确定事件：概念是确定的，发生也是确定的；
随机事件：概念是确定的，发生是不确定的；
模糊事件：概念本身就不确定。随机变量随机变量随机变量：随机事件的数量表示；
离散随机变量：取值为离散的随机变量 ；
连续随机变量：取值为连续的随机变量 ；
频率和概率频率和概率频率：试验在相同的条件下重复N次，其中M次事件A发生，则A发生的频率为：fN(A) = M / N；
概率：当N很大时，频率会趋向一个稳定值，称为A的概率：联合概率和条件概率联合概率和条件概率联合概率：设A，B是两个随机事件，A和B同时发生的概率称为联合概率，记为：P(A, B)；
条件概率：在B事件发生的条件下，A事件发生的概率称为条件概率，记为：P(A|B)；
乘法定理：P(A|B) = P(A, B) / P(B)。 概率密度函数概率密度函数概率分布函数：设X为连续型随机变量，定义分布函数；F(x) = P(X≤x)；
概率密度函数：给定X是随机变量，如果存在一个非负函数f(x)，使得对任意实数a,b(a
则P(x|cj)= P(a1,a2…am| cj)null后验概率P(cj |x) 即给定数据样本x时cj成立的概率,而这正是我们所感兴趣的 P(cj|x )被称为C的后验概率（posterior probability），因为它反映了在看到数据样本x后cj成立的置信度2.几种常用的决策准则2.几种常用的决策准则不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。其中最有代表性的是:
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策额2.1基于最小错误率的贝叶斯决策2.1基于最小错误率的贝叶斯决策分类器中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？
当某一特征向量X只为某一类物体所特有，即
对其作出决策是容易的，也不会出什么差错。问
题
快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题
在于出现模凌两可的情况。此时，任何决策都存在判错的可能性。
条件概率：P(*|#)是条件概率的通用符号，P(wk|X)是表示在X出现条件下，样本为wk类的概率。
基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的
（1）后验概率:
如果
则
null(2)如果
则
(3)似然比：
如果
则
否则(4)似然比写成相应的负对数形式(4)似然比写成相应的负对数形式
如果
则
否则例题1例题1假设在某地区切片细胞中正常（w1）和异常（w2）两类的先验概率分别为p(w1)=0.9,
p(w2)=0.1。现有一待识别细胞呈现出状态 x，由其类条件概率密度分布曲线查的p(x|w1)=0.2,p(x|w2)=0.4,试对细胞x进行分类。
例题1解答例题1解答利用贝叶斯公式，分别计算出状态为x时w1与w2的后验概率基于最小错误率的贝叶斯决策的证明基于最小错误率的贝叶斯决策的证明平均错误率:在观测值可能取值的整个范围内错误率的均值
两类判别情况两类判别情况当p(w2|x)>p(w1|x)时决策为w2，对观测值x有 p(w1|x)概率的错误率
R1:做出w1决策的所有观测值区域，条件错误概率为p(w2|x)
R2:条件错误概率为p(w1|x)。因此平均错误率p(e)可表示成
null在R1内任一个x值都有p(w2|x)gj(x) i,j=1,2 且i不等于j，
则x属于wi多类别情况决策规则：多类别情况决策规则：如果
则将x归于wi类
决策面
当wi的决策域与wj的决策域相邻时，一下关系决定了相应的决策面
gi(x)=gj(x) null图2.5a表示了一个三类别问题用一维特征空间时的所有决策边界，而图2.5b则表示了相应的二维特征空间中的决策边界两类别问题分类器的框图：两类别问题分类器的框图：多类别分类器的结构框图：多类别分类器的结构框图：
浙公网安备 33021202002483