主成分分析法原理及应用

主成分分析法原理及应用主成分分析法原理及应用一、概述在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决...

主成分分析法原理及应用一、概述在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。出成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标(主成分)有以下几个特点: ,主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。 ,主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。 ,主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。 ,主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。二、基本原理主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标X1，X2，…，XP(比如p个指标)，重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量Xp所代表的信息，又能保证新指标之间保持相互无关(信息不重叠)。设F1表示原变量的第一个线性组合所形成的主成分指标，即FaXaXaX,，，，...11112121pp,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var(Z1)越大，表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是X1，X2，…，XP的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独立、不相关，用数学语言表达就是其协方差Cov(F1, F2)=0，所以F2是与F1不相关的X1，X2，…，XP的所有线性组合中方差最大的，故称Z2为第二主成分，依此类推构造出的F1、F2、……、Fm为原变量指标X1、X2……XP第一、第二、……、第m个主成分。 FaXaXaX,，，，...,11111221pp,FaXaXaX,，，，...,22112222pp ,......, ,FaXaXaX,，，，...mmmmpp1122, 根据以上分析得知: (1) Fi与Fj互不相关，即Cov(Fi，Fj) = 0,并有Var(Fi)=ai’Σai，其中Σ为X的协方差阵 (2)F1是X1，X2，…，Xp的一切线性组合(系数满足上述要求)中方差最大的,……,即Fm是与F1，F2，……，Fm,1都不相关的X1，X2，…，XP的所有线性组合中方差最大者。 F1，F2，…，Fm(m?p)为构造的新变量指标，即原变量指标的第一、第二、……、第m个主成分。由以上分析可见，主成分分析法的关键就是确定原来变量Xj(j=1，2 ，…， ap)在诸主成分Fi(i=1，2，…，m)上的荷载( i=1，2，…，m; j=1，2 ，…，ij p)。从数学上可以证明，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代表前m个较大的主成分方差值;原变量协方差矩阵前m个较 ,大的特征值(这样取才能保证主成分的方差依次最大)所对应的特征向量就i a,是相应原变量在主成分Fi上的载荷，为了加以限制，载荷系数a启用的是对iii应的单位化的特征向量，即有= 1。 aiai' 三、主成分分析法的计算步骤主成分分析的具体步骤如下: (1)计算协方差矩阵计算样品数据的协方差矩阵:Σ=(s)p，p，其中 ij n1sxxxx,,,()() i，j=1，2，…，p ,ijkiikjjn,1,1k ,a(2)求出Σ的特征值及相应的正交化单位特征向量 ii , Σ的前m个较大的特征值,1,,2,…,m>0,就是前m个主成分对应的方差，i a对应的单位特征向量就是原来变量在主成分Fi上的载荷系数，则原变量的第i i个主成分Fi为: a'Fi =X i ,主成分的方差(信息)贡献率用来反映信息量的大小，为: i m ,,,,/,iii,1i (3)选择主成分最终要选择几个主成分，即F1,F2,……,Fm中m的确定是通过方差(信息)累计贡献率G(m)来确定 pm Gm()/,,, ,,ik,,11ik 当累积贡献率大于85%时，就认为能足够反映原来变量的信息了，对应的m就是抽取的前m个主成分。 (4)计算主成分得分计算样品在m个主成分上的得分: FaXaXaX,，，，... i = 1，2，…，m iiipip1122 实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换: xx,ijj* 1,2,...,;1,2,...,xinjp,,,ijsj nn1122xx,sxx,,()其中:， ,,jijjijjnn,1i,1,1i 根据数学公式知道，?任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。?另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是: ?计算相关系数矩阵 ,a?求出相关系数矩阵的特征值及相应的正交化单位特征向量 ii?选择主成分 ?计算主成分得分总结:原指标相关系数矩阵相应的特征值,i为主成分方差的贡献，方差的 p ,,,,/,贡献率为，越大，说明相应的主成分反映综合信息的能力越强，,iiii,1i 可根据,i的大小来提取主成分。每一个主成分的组合系数(原变量在该主成分 a上的载荷)就是相应特征值,i所对应的单位特征向量。 i

                    本文档为【主成分分析法原理及应用】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
                    图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。 
 该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。

                    [版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。

                    本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。

                    网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
                

下载需要：免费已有0 人下载

立即下载

主成分分析法原理及应用

你可能还喜欢