下载
加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 中科院模式识别第五章_黄庆明

中科院模式识别第五章_黄庆明.ppt

中科院模式识别第五章_黄庆明

wu9999
2013-12-07 0人阅读 举报 0 0 暂无简介

简介:本文档为《中科院模式识别第五章_黄庆明ppt》,可适用于IT/计算机领域

第五章特征选择和提取第五章特征选择和提取第五章特征选择和提取第五章特征选择和提取特征选择和提取是模式识别中的一个关键问题前面讨论分类器设计的时候一直假定已给出了特征向量维数确定的样本集其中各样本的每一维都是该样本的一个特征这些特征的选择是很重要的它强烈地影响到分类器的设计及其性能假若对不同的类别这些特征的差别很大则比较容易设计出具有较好性能的分类器。第五章特征选择和提取第五章特征选择和提取特征选择和提取是构造模式识别系统时的一个重要课题在很多实际问题中往往不容易找到那些最重要的特征或受客观条件的限制不能对它们进行有效的测量因此在测量时由于人们心理上的作用只要条件许可总希望把特征取得多一些另外由于客观上的需要为了突出某些有用信息抑制无用信息有意加上一些比值、指数或对数等组合计算特征如果将数目很多的测量值不做分析全部直接用作分类特征不但耗时而且会影响到分类的效果产生“特征维数灾难”问题。第五章特征选择和提取第五章特征选择和提取为了设计出效果好的分类器通常需要对原始的测量值集合进行分析经过选择或变换处理组成有效的识别特征在保证一定分类精度的前提下减少特征维数即进行“降维”处理使分类器实现快速、准确和高效的分类。为达到上述目的关键是所提供的识别特征应具有很好的可分性使分类器容易判别。为此需对特征进行选择。应去掉模棱两可、不易判别的特征所提供的特征不要重复即去掉那些相关性强且没有增加更多分类信息的特征。第五章特征选择和提取第五章特征选择和提取说明实际上特征选择和提取这一任务应在设计分类器之前进行从通常的模式识别教学经验看在讨论分类器设计之后讲述特征选择和提取更有利于加深对该问题的理解。第五章特征选择和提取第五章特征选择和提取所谓特征选择就是从n个度量值集合{x,x,…,xn}中按某一准则选取出供分类用的子集作为降维(m维m<n)的分类特征所谓特征提取就是使(x,x,…,xn)通过某种变换产生m个特征(y,y,…,ym)(m<n)作为新的分类特征(或称为二次特征)其目的都是为了在尽可能保留识别信息的前提下降低特征空间的维数已达到有效的分类。第五章特征选择和提取第五章特征选择和提取以细胞自动识别为例通过图像输入得到一批包括正常细胞和异常细胞的图像我们的任务是根据这些图像区分哪些细胞是正常的哪些细胞是异常的首先找出一组能代表细胞性质的特征为此可计算细胞总面积总光密度胞核面积核浆比细胞形状核内纹理……第五章特征选择和提取第五章特征选择和提取以细胞自动识别为例这样产生出来的原始特征可能很多(几十甚至几百个)或者说原始特征空间维数很高需要降低(或称压缩)维数以便分类一种方式是从原始特征中挑选出一些最有代表性的特征称之为特征选择另一种方式是用映射(或称变换)的方法把原始特征变换为较少的特征称之为特征提取。模式类别可分性的测度模式类别可分性的测度距离和散布矩阵点到点之间的距离点到点集之间的距离类内距离模式类别可分性的测度模式类别可分性的测度距离和散布矩阵类内散布矩阵类间距离和类间散布矩阵多类模式集散布矩阵特征选择特征选择设有n个可用作分类的测量值为了在不降低(或尽量不降低)分类精度的前提下减小特征空间的维数以减少计算量需从中直接选出m个作为分类的特征。问题:在n个测量值中选出哪一些作为分类特征使其具有最小的分类错误?特征选择特征选择从n个测量值中选出m个特征一共有中可能的选法。一种“穷举”办法:对每种选法都用训练样本试分类一下测出其正确分类率然后做出性能最好的选择此时需要试探的特征子集的种类达到种非常耗时。需寻找一种简便的可分性准则间接判断每一种子集的优劣。对于独立特征的选择准则一般特征的散布矩阵准则特征选择特征选择对于独立特征的选择准则类别可分性准则应具有这样的特点即不同类别模式特征的均值向量之间的距离应最大而属于同一类的模式特征其方差之和应最小。假设各原始特征测量值是统计独立的此时只需对训练样本的n个测量值独立地进行分析从中选出m个最好的作为分类特征即可。例:对于i和j两类训练样本的特征选择特征选择特征选择讨论:上述基于距离测度的可分性准则其适用范围与模式特征的分布有关。三种不同模式分布的情况(a)中特征xk的分布有很好的可分性通过它足以分离i和j两种类别(b)中的特征分布有很大的重叠单靠xk达不到较好的分类需要增加其它特征(c)中的i类特征xk的分布有两个最大值虽然它与j的分布没有重叠但计算Gk约等于此时再利用Gk作为可分性准则已不合适。因此假若类概率密度函数不是或不近似正态分布均值和方差就不足以用来估计类别的可分性此时该准则函数不完全适用。特征选择特征选择一般特征的散布矩阵准则类内、类间的散布矩阵Sw和Sb类间离散度越大且类内离散度越小可分性越好。散布矩阵准则J和J形式使J或J最大的子集可作为所选择的分类特征。注:这里计算的散布矩阵不受模式分布形式的限制但需要有足够数量的模式样本才能获得有效的结果作业作业设有如下三类模式样本集ωω和ω其先验概率相等求Sw和Sbω:{()T,()T,()T}ω:{()T,()T,()T}ω:{()T,()T,()T}离散KL变换离散KL变换全称:KarhunenLoeve变换(卡洛南洛伊变换)前面讨论的特征选择是在一定准则下从n个特征中选出k个来反映原有模式。这种简单删掉某nk个特征的做法并不十分理想因为一般来说原来的n个数据各自在不同程度上反映了识别对象的某些特征简单地删去某些特征可能会丢失较多的有用信息。如果将原来的特征做正交变换获得的每个数据都是原来n个数据的线性组合然后从新的数据中选出少数几个使其尽可能多地反映各类模式之间的差异而这些特征间又尽可能相互独立则比单纯的选择方法更灵活、更有效。KL变换就是一种适用于任意概率密度函数的正交变换。离散KL变换离散KL变换离散的有限KL展开展开式的形式如果对c种模式类别{i}i=,…,c做离散正交展开则对每一模式可分别写成:xi=ai其中矩阵取决于所选用的正交函数。对各个模式类别正交函数都是相同的但其展开系数向量ai则因类别的不同模式分布而异。KL展开式的性质KL展开式的根本性质是将随机向量x展开为另一组正交向量j的线性和且其展开式系数aj(即系数向量a的各个分量)具有不同的性质。在此条件下正交向量集{j}的确定KL展开式系数的计算步骤离散KL变换离散KL变换按KL展开式选择特征KL展开式用于特征选择相当于一种线性变换。若从n个特征向量中取出m个组成变换矩阵即=(…m)m<n此时是一个n*m维矩阵x是n维向量经过Tx变换即得到降维为m的新向量。问题:选取变换矩阵使得降维后的新向量在最小均方差条件下接近原来的向量x离散KL变换离散KL变换按KL展开式选择特征结论从KL展开式的性质和按最小均方差的准则来选择特征应使Eaj=。由于Ea=ETx=TEx故应使Ex=。基于这一条件在将整体模式进行KL变换之前应先将其均值作为新坐标轴的原点采用协方差矩阵C或自相关矩阵R来计算特征值。如果Ex<>则只能得到“次最佳”的结果。离散KL变换离散KL变换按KL展开式选择特征结论将KL展开式系数aj(亦即变换后的特征)用yj表示写成向量形式:y=Tx。此时变换矩阵用m个特征向量组成。为使误差最小不采用的特征向量其对应的特征值应尽可能小。因此将特征值按大小次序标号即>>…>m>…>n>=若首先采用前面的m个特征向量便可使变换误差最小。此时的变换矩阵为离散KL变换离散KL变换按KL展开式选择特征结论KL变换是在均方误差最小的意义下获得数据压缩(降维)的最佳变换且不受模式分布的限制。对于一种类别的模式特征提取它不存在特征分类问题只是实现用低维的m个特征来表示原来高维的n个特征使其误差最小亦即使其整个模式分布结构尽可能保持不变。离散KL变换离散KL变换按KL展开式选择特征结论通过KL变换能获得互不相关的新特征。若采用较大特征值对应的特征向量组成变换矩阵则能对应地保留原模式中方差最大的特征成分所以KL变换起到了减小相关性、突出差异性的效果。在此情况下KL变换也称为主成分变换(PCA变换)。需要指出的是采用KL变换作为模式分类的特征提取时要特别注意保留不同类别的模式分类鉴别信息仅单纯考虑尽可能代表原来模式的主成分有时并不一定有利于分类的鉴别。离散KL变换离散KL变换按KL展开式选择特征KL变换实例原始模式分布特征提取作业作业设有如下两类样本集其出现的概率相等:ω:{()T,()T,()T,()T}ω:{()T,()T,()T,()T}用KL变换分别把特征空间维数降到二维和一维并画出样本在该空间中的位置。

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/

中科院模式识别第五章_黄庆明

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利