下载

2下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 多元统计分析

多元统计分析.ppt

多元统计分析

谁能一路向北
2011-09-23 0人阅读 举报 0 0 暂无简介

简介:本文档为《多元统计分析ppt》,可适用于人文社科领域

数学建模培训第十章多元统计分析第十章多元统计分析主讲:孙中奎.问题引入.思路点拨.判别分析方法.DNA序列分类问题的求解参考文献目录首先我们来考虑一下年“网易杯”全国大学生数学建模竞赛的A题是关于“DNA序列分类”的问题.问题引入人类基因组中的DNA全序列是由个碱基ATCG按一定顺序排成的长约亿的序列毫无疑问这是一本记录着人类自身生老病死及遗传进化的全部信息的“天书”。但是除了这四种碱基外人们对它所包含的内容知之甚少如何破译这部“天书”是二十一世纪最重要的任务之一。在这个目标中研究DNA全序列具有什么结构由这个字符排成的看似随机的序列中隐藏着什么规律又是解读这部天书的基础是生物信息学(Bioinformatics)最重要的课题之一。虽然人类对这部“天书”知之甚少但也发现了DNA序列中的一些规律性和结构。例如在全序列中有一些是用于编码蛋白质的序列片段即由这个字符组成的种不同的字符串其中大多数用于编码构成蛋白质的种氨基酸。又例如在不用于编码蛋白质的序列片段中A和T的含量特别多些于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果。此外利用统计的方法还发现序列的某些片段之间具有相关性等等。这些发现让人们相信DNA序列中存在着局部的和全局性的结构充分发掘序列的结构对理解DNA全序列是十分有意义的。作为研究DNA序列的结构的尝试试对以下序列进行分类:问题一:下面有个已知类别的人工制造的序列(见附件)其中序列标号为A类为B类。请从中提取特征构造分类方法并用这些已知类别的序列衡量你的方法是否足够好。然后用你认为满意的方法对另外个未标明类别的人工序列(标号)进行分类把结果用序号(按从小到大的顺序)标明它们的类别(无法分类的不写入):A类B类。问题二:请对个自然DNA序列(http:wwwmcmeducnmcmproblemshtm)进行分类。它们都较长。用你的分类方法对它们进行分类并给出分类结果。看了这道题我们应当从何处入手呢我们应该怎样进行分析呢…….思路点拨细读全题对未知事物进行分类问题的本质对另外个未标明类别的DNA序列进行分类根据所给的个已知类别的DNA序列所提供的信息对个自然DNA序列进行分类如果将每一个DNA序列都看作样本那么该问题就进一步提炼成一个纯粹的数学问题:设有两个总体(类)和其分布特征(来自各个总体的样本)已知对给定的新品我们需要判断其属于哪个总体(类)。对于上面的数学问题可以用很多成熟的方法来解决例如:()BP神经网络()聚类分析()判别分析等等。如何选取方法是建模过程中需要解决的另外一个问题:BP神经网络是人工神经网络的一种它通过对训练样本的学习提取样本的隐含信息进而对新样本的类别进行预测。BP神经网络可以用以解决上面的DNA序列分类问题但是如何提取特征、如何提高网络的训练效率、如何提高网络的容错能力、如何建立网络结构是能否成功解决DNA序列分类问题的关键所在聚类分析和判别分析都是多元统计分析中的经典方法都可以用来将对象(或观测值)分成不同的集合或类别但是聚类分析更侧重于“探索”对象(或观测值)的自然分组方式而判别分析则侧重于将未知类别的对象(或观测值)“归结”(或者说分配)到已知类别中。显然判别分析更适合用来解决上面的DNA序列分类问题。.判别分析方法判别分析是用于判别样品所属类别的一种多元统计分析方法。判别分析问题都可以这样描述:设有个维的总体其分布特征已知(如已知分布函数分别为或者已知来自各个总体的样本)对给定的一个新样品我们需要判断其属于哪个总体。一般来说根据判别规则的不同可以得到不同的判别方法例如距离判别、贝叶斯(Bayes)判别、费希尔(Fisher)判别、逐步判别、序贯判别等。这里我们简单介绍三个常用的判别方法:距离判别、贝叶斯(Bayes)判别和费希尔(Fisher)判别。判别分析方法距离判别贝叶斯(Bayes)判别费希尔(Fisher)判别判别分析模型的显著性检验距离判别距离判别的基本思想:样品X离哪个总体的距离最近就判断X属于哪个总体。这里的“距离”是通常意义下的距离(欧几里得距离:在m维欧几里得空间R中两点与的欧几里得距离也就是通常我们所说的距离为)吗?带着这个疑问我们来考虑这样一个问题:设有两个正态总体和现在有一个新的样品位于A处(参见图)从图中不难看出:是否A处的样品属于总体呢?图显然不是因为从概率的角度来看总体的样本比较分散而总体的样本则非常集中因此处的样品属于总体的概率明显大于属于总体的概率也就是说处的样品属于总体的“可能性”明显大于属于总体的“可能性”!这也说明了用欧几里得距离来度量样品到总体距离的局限性。因此需要引入新的距离概念这就是下面给出的马氏距离。定义(马氏距离):设总体G为m维总体(m个因素或指标)其均值向量为(这里T表示转置)协方差阵为则样品到总体G的马氏距离定义为两总体的距离判别先考虑两个总体()的情况。设有两个总体和,和分别是和的协方差阵和分别是和的均值。对于新的样品需要判断它来自那个总体。设来自()的训练样本为其中表示来自哪个总体表示来自总体的样本量。要判断新样品来自哪个总体一般的想法是分别计算新样品到两个总体的马氏距离和:如果则判定反之如果则判定:即……()A时的判别方法其中记为了得到更简单的判别规则我们下面计算新样品到两个总体的马氏距离和的差显然判别规则()式等价于……()通常称为判别系数向量称为线性判别函数。注意判别准则()式或者()式将维空间划分成两部分:和也即。距离判别的实质就是:给出空间的一个划分和如果样品落入之中则判定如果样品落入之中则判定。当时根据判别准则()式我们同样的给出判别函数为相应的判别规则为……()B时的判别方法在实际应用中总体的均值和协方差阵一般是未知的我们所知道的仅仅是一组样本或者观测值在这种情况下就需要利用数理统计的知识对进行估计。利用已知样本易得的无偏估计分别为C的估计对于多个总体的情况可以类似于两个总体的处理过程我们给出如下的步骤:第一步:计算样品到每个总体的马氏距离第二步:比较的大小将样品判为距离最小的那个总体。如果均值为:和协方差:未知可以类似两个总体的情形运用训练样本来进行估计。这里不再赘述。多总体的距离判别距离判别的不足距离判别方法简单实用容易实现并且结论的意义明确。但是距离判别没有考虑:()各总体本身出现的可能性在距离判别中没有考虑()错判造成的损失在距离判别中也没有考虑。在很多情况下不考虑上面的两种因素是不合理的。贝叶斯(Bayes)判别方法克服了距离判别的不足。与前面距离判别方法不同的是:所谓贝叶斯(Bayes)判别就是在考虑各总体的先验概率和错判损失的情况下给出空间的一个划分:使得运用此划分来判别归类时所带来的平均错判损失最小。贝叶斯判别贝叶斯(Bayes)判别问题的数学描述为:设有个维的总体其密度函数分别为若已知这个总体各自出现的概率(先验概率)为(且)假设已知将本来属于总体的样品错判为总体所造成的损失为。在这样的情形下对于新的样品需要判断它来自那个总体。为了给出贝叶斯(Bayes)判别准则我们从下面几个方面来讨论:先验概率表示对各总体的先知认识或者说事先对所研究的问题所具有的认识。一般来说先验概率并不容易获得其更多的来自于长期累积的经验。先验概率可以通过下面几种赋值方法得到:基于经验或者历史资料进行估计利用训练样本中各种样品所占的比例作为的值。其中表示第类总体的样品数是总训练样本数该方法要求训练样本是通过随机抽样得到的假定。A确定先验概率这里用表示将本来属于总体的样品错判为总体的概率即误判概率显然根据概率的定义易得:()……()实际上()式的几何意义是很明显的见图。B确定错判概率图表示的是两个正态总体的误判概率示意图。误判概率的估计方法有以下几种:()利用训练样本为检验集用判别方法对训练样本进行判断统计误判的样本个数计算误判样本占总样本的比例并作为误判概率的估计值()当训练样本足够大时从训练样本中预留一部分作为检验集并记录判错的比率作为误判概率的估计值()运用舍一法:每次预留一个样本来检验用剩下的样本建立判别准则循环检验完所有训练样本记录判错的比率以此作为误判概率的估计值。C确定错判损失错判必然带来损失。现实中错判的损失一般来说很难定量给出。但是可以运用赋值法来确定:()根据经验或者实际问题的特征人为确定()假设各种误判损失都相等。基于前面的讨论运用概率知识:判别法将本来属于总体的样本错判给其它总体的平均损失为那么关于先验概率的平均错判损失为……()如果能找到使得平均损失达到最小那么就称为贝叶斯(Bayes)判别的解。D确定平均损失定理:设有个总体:已知的联合密度函数为先验概率为错判损失为则贝叶斯(Bayes)判别的解为其中……()下面给出贝叶斯(Bayes)判别的解的主要结论:费希尔判别费希尔判别的基本思想:借助于方差分析的思想利用投影将元的数据投影到某一个方向使得投影后组与组之间的差异尽可能的大然后根据一定的判别规则对新样本的类别进行判断。首先构造一个线性判别函数……()可见上面的函数将元的数据投影到了一个方向系数的确定原则是使得总体间的差异最大总体内部的离差最小。A确定线性判别函数设有个元总体:它们的均值为:协方差为:。在的条件下有令这里确定使得个总体间的差异最大总体内部的离差最小则应该达到最大。为了确保的唯一性不妨设。因此问题转化为:在条件约束下求使得式达到最大这是大家非常熟悉的条件极值的问题。根据拉格朗日乘子法:求解得……()由方程()第一式知是的特征根是相应的特征向量。可以证明(的大小可以衡量判别函数的判别效果故称为判别效率)。设的非零特征根为相应的满足约束条件的特征向量为显然取时达到最大。B确定判别规则假设系数已经求出那么线性判别函数就完全确定下来对于一个新的样品可以构造下面的判别规则:……()判别分析模型的显著性检验建立了判别分析模型以后还需要对模型进行评价这就需要对判别分析模型的显著性进行检验主要包括两个方面:判别效果的检验和各变量判别能力的检验。所谓判别效果的检验就是检验k个总体的均值是否有显著的差异反映了采用判别分析模型的有效性问题各变量判别能力的检验反映的是各指标(因素)对判别分类所起的作用时候显著。具体的检验方法因为过于复杂这里不再赘述。需要说明的是作为多元统计分析中的经典方法判别分析在许多关于多元统计分析的教材中均有详细而深刻的论述。.DNA序列分类问题的求解关于DNA序列分类问题的讨论和分析我们在第部分和第部分已经作了详细的分析和讨论。这里我们将根据多元统计分析的知识建立判别分析模型来求解DNA序列的分类问题(这里只求解问题一)。首先需要提取每条序列的所蕴含的特征因为将序列的全部信息都作为指标(因素)来建立判别模型是不可能的。A特征的提取DNA序列中所蕴含的信息是非常丰富的因此如何提取特征、提取什么特征是一个非常困难的问题这个问题涉及到生物学的知识此处将不深入展开讨论。我们考虑采用序列中个碱基ATCG的含量百分比作为DNA序列的特征。为了便于讨论我们用表示碱基A在序列中所占的百分比表示碱基T在序列中所占的百分比表示碱基C在序列中所占的百分比表示碱基G在序列中所占的百分比。因为=因此、、和中只有三个变量是独立的不失一般性我们选取、和为指标以表示第个DNA序列的特征向量换句话说“完全”代表第个DNA序列。正如前面第部分中所分析的:在此DNA序列分类问题中共有两个已知的总体(类)(A类)和(B类)而且训练样本共有个其中前个样本(记为)属于总体(类)后个样本(记为)属于总体(类)。需要解决的问题是:对给定的新样品我们需要判断其属于哪个总体(类)。B建立判别模型这里分别建立距离判别和费希尔(Fisher)判别模型。()距离判别模型在距离判别模型中首先需要估计总体(类)和的均值和协方差阵运用前面小节的公式可以得到均值和协方差阵的无偏估计。然后计算样本到总体(类)和的马氏距离根据判别准则()可得:若则判定为A类若则判定为B类。()费希尔判别模型首先确定判别函数利用费希尔(Fisher)判别准则可以求出确定了判别函数就可以根据费希尔(Fisher)判别准则()式判断新的DNA序列的类别问题了。C模型求解和软件实现判别分析的计算机实现是非常简单的运用Matlab和SPSS等软件都可以进行判别分析。经过计算结果如下:()距离判别:运用上面算法对已知类别的训练本进行判定结果为:A类:B类:只有第个样本发生了误判故正确率为。运用上面算法对进行分类结果为A类:B类:()费希尔判别运用上面算法对已知类别的训练本进行判定结果为:A类:B类:只有第个样本发生了误判故正确率为。运用上面算法对进行分类结果为:A类:B类:参考文献高惠璇应用多元统计分析北京大学出版社。张尧庭,方开泰多元统计分析引论科学出版社。陈家鼎孙山泽李东风数理统计学讲义高等教育出版社。梁之舜邓集贤杨维权等概率论与数理统计(第二版)(上)高等教育出版社。朱建平应用多元统计分析科学出版社。全国大学生数学建模竞赛优秀论文汇编()中国物价出版社。

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/46

多元统计分析

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利