PNN神经网络聚类法

PNN神经网络聚类法 目 录 摘要 .......................................................................................................................... 1 1概率神经网络 ........................................................................................................ 1 1.1网络模型 ..................................................................................................... 1 1.2分类思想 ..................................................................................................... 2 1.3 PNN分类的优点 ......................................................................................... 3 2 PNN网络的构建 ................................................................................................... 3 2.1 构建步骤 .................................................................................................... 3 2.2 Matlab中的主要代码 ................................................................................ 4 3 Matlab编程及结果分析 ........................................................................................ 4 3.1 Matlab中的编程 ....................................................................................... 4 3.2 仿真结果分析 ............................................................................................ 7 3.3 结论.......................................................................................................... 10 4 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf ..................................................................................................................... 11 参考文献 .................................................................................................................12 1 PNN神经网络聚类法 摘要 近几年来，对于神经网络的研究越来越普遍，神经网络在我们社会生活中的作用也越来越不可替代，尤其在模式识别的领域里，更是有着举足轻重的作用。 酒是由多种成分按不同的比例构成的，兑酒时需要三种原料(X,Y,Z)，现在已测出不同酒中三种原料的含量，本文正是基于PNN神经网络针对酒中X、Y、Z三种含量的不同来对酒进行识别分类。本文首先介绍了PNN神经网络的网络模型以及它对不同的模式进行分类判别的思想，然后针对本文的酒类判别的要求来构建PNN网络，并在Matlab中进行编程仿真，最后对所仿真的结果进行了分析比较，最后找出最优的模式分类。 1概率神经网络 概率神经网络(Probabilistic Neural Networks,PNN)是由D. F. Specht在1990年提出的。主要思想是用贝叶斯决策规则,即错误分类的期望风险最小,在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络,它是以Parzen窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经网络与经典的概率密度估计原理的优点,与传统的前馈神经网络相比,在模式分类方面尤其具有较为显著的优势。 1.1网络模型 PNN的结构如图1所示,共由四层组成。 图1 概率神经网络结构 1 概率神经网络PNN是径向基网络的一个分支,是前馈网络的一种。它是一种有监督的网络的分类器，基于概率统计思想,由Bayes分类规则构成,采用Parzen 窗函数密度估计方法估算条件概率，进行分类模式识别。 PNN的结构模型如图，共分四层:输入层、样本层(又称模式层)、求和层 T和决策层(又称竞争层输出层)。对应网络输入X=[x1,x2,…xm]，其输出为 T,yL],输入向量为m，待匹配的类别数为L。 Y=[y1,y2,… 1.2分类思想 在PNN的神经网络模型中，输入层中的神经元数目等于学习样本中输入向量的m，各神经元是简单的分布单元，直接将输入变量传递给样本层。 样本层的节点数由输入样本和待匹配类别的乘积决定，为m*L。样本层是将输入节点传来的输入进行加权求和，然后经过一个激活函数运算后，再传给求和层。这里激活函数采用高斯函数，则输出为: 22,,exp(,(||x,c||/2,)) ,iii c,式中为径向基函数的中心，表示特性函数第i个分量对弈的开关参数。ii 些层中每个节点均为RBF的中心，采用的特性函数为径向基函数—高斯函数，计算未知模式与标准模式间相似度。 求和层各单元只与相应类别的模式单元相连，各单元只依据Parzen方法求和估计各类的概率，即其条件概率为: Tn()()X,XX,X11iL (|)exp[]PXC,,,i/22mm,,(2)n2,,1i CX式中为类别，X为识别样本，为类别i的模式样本(在概率神经网络ii 中做为权值)，m为向量维数，为平滑参数，n为类i的模式样本数量。先验概, 率记为P(X)。 决策层节点数等于待匹配类别数，为L。根据各类对输入向量概率的估计，采用Bayes分类规则，选择出具有最小“风险”的类别，即具有最大后验概率的类别，可用下式来表达其决策方法对所有i ,j, 2 P(X|C)P(C),P(X/CP(C))iijj C则输出y(X)= 。 i 与其它方法相比较,PNN不需进行多次充分的计算,就能稳定收敛于Bayes优化解。在训练模式样本一定的情况下,只需进行平滑因子的调节,网络收敛快。平滑因子值的大小决定了模式样本点之间的影响程度,关系到概率密度分布函数的变化。通常,网络只要求经验地给定一个平滑因子。 1.3 PNN分类的优点 PNN是一种可用于模式分类的人工神经网络,其实质是基于贝叶斯最小风险准则发展而来的一种并行算法,相比BP网络,其主要优点为: (1) 训练速度快; (2) 在足够训练样本下,总可以保证获得贝叶斯准则下的最优解;(3) 只考虑样本空间的概率特性,允许增加训练样本而无需重新进行长时间的训练。 2 PNN网络的构建 2.1 构建步骤 第一步:采集数据;本文采集的是兑酒所需要的三种原料的数据。 第二步:训练网络;选取该厂的30个样本数据作为训练和测试的数据。以其中的20个数据作为训练样本，以1、2、3、4四类酒作为期望输出矢量。训练网络从而得到酒类识别的PNN网络模型。 第三步:进行网络性能测试;网络训练完成后，10个数据作为测试样本，进行网络性能检验。将各层神经元间的连接权值代回网络中，对训练样本进行回归模拟;当训练样本的期望值输出与PNN网络的仿真输出完全重合时，这说明网络已训练成功，可用来预测未知样本的类别。 第四步:利用已训练好的网络进行预测;利用已建好的PNN网络来对未知的20组样本数据进行分类。 3 2.2 Matlab中的主要代码 用Matlab实现过程的主要源代码如下: P=[p1,p2,p3,p4,p5,p6,p7]; %输入样本 Tc %类别向量 T=ind2vec(Tc); %转为目标分类向量; Net=newpnn(P,T,N); %创建一个PNN, SPREAD=N Y=sim(net,P); %仿真 Yc=vec2ind(Y); %转为类别向量 输出网络训练结束后,输出层各节点和输入模式类的特定关系已确定,因此可 用作模式分类器,当输入一个SPREAD值后,网络将对输入自动进行分类。 3 Matlab编程及结果分析 3.1 Matlab中的编程 前30组数据用来学习，利用训练好的PNN网络来对后20组数据进行预测。 Matlab中的源程序如下: clear all; P=[ 2232.43 3077.87 1298.87 1580.1 1752.07 2463.04 1962.4 1594.97 1835.95 1495.18 1957.44 3498.02 1125.17 1594.39 2937.73 24.22 3447.31 2145.01 1269.07 1910.72 2701.97 1802.07 1725.81 1966.35 1817.36 1927.4 2328.79 1860.45 1782.88 1875.13 4 1237.91 2055.13 3405.09 688.94 2104.72 3198.51 1675.65 1747.23 1580.39 1806.02 1810.19 2191.12 74.56 3288.02 2433.87 307.35 3363.84 2021.61 1988.27 1657.51 2069.2 2173.92 2608.55 1803.57 372.16 3077.44 2163.46 576.6 2140.98 3320 1724.13 1704.49 1798.75 2501.21 2652.65 984.56 1656.94 1913.34 2459.07 362.51 3150.03 2472 565.74 2284.97 3024.58 1978.06 1536.13 2375.64 1661.06 1552.4 2005.05 790.29 2419.98 3051.16 1557.27 1746.27 1879.13 ]; P=P'; C=[2 3 3 1 1 4 1 3 3 3 1 1 3 3 4 4 3 2 4 1 3 2 3 4 1 3 3 1 3]; T=ind2vec(C);%将类别向量 C 转换为目标向量 T t1=clock;%开始计时 net=newpnn(P,T,50);%网络创建 A=vec2ind(sim(net,P)); datat1=etime(clock,t1) save netpnn net; clear all; load netpnn net; 5 T1=[ 2793.36 3009.26 1073.55 1766.08 1803.14 1895.18 1207.88 1600.62 3123.07 245.75 3373.67 2248.45 2785.36 3052.81 1035.65 315.42 3088.29 2187.12 1243.28 2451.72 3111.99 829.84 1555.91 3139.21 1347.07 2364.31 3096.88 1926.98 1507.34 1626.47 1808.57 1608.78 1565.95 1124.1 1840.98 2819.41 2661 3302.39 1710.32 1805.55 1899.09 2400.6 1130.18 1902.42 2753.7 1355.19 1566.16 2927.81 1651.14 1774.03 1725.56 2110.63 3308.04 702.06 2788.11 3395.23 1684.45 1807.61 1680.56 2356.65 1363.58 1729.44 2749.55 1992.42 1526.9 1581.42 ]; T1=T1'; t2=clock; y=sim(net,T1); yc=vec2ind(y); B=vec2ind(sim(net,T1)); datat2=etime(clock,t2) 6 yc colr=zeros(4,3); for i=1:4 colr(i,:)=rand(1,3); end for i=1:4 a=find(yc==i) p=plot3(T1(1,a),T1(2,a),T1(3,a),'*'); axis([200 3200 1200 3500 1000 3200]) hold on; grid on; box; set(p,'Color',colr(i,:)); end for i=1:4,text(T1(1,i)+0.1,T1(2,i),T1(3,i),sprintf('%g',yc(i))),end title('Testing the network.') 3.2 仿真结果分析 在前面章节中我们已经提到，平滑因子N 的重要性，N的取值直接影响着 我们最后的分类结果。下面是采用不同的平滑因子所的结果: , 当N=1时，仿真结果如下: datat1 = 1.3590 datat2 = 0.4840 yc = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 7 data1和data2分别为PNN网络的训练时间和预测时间，yc是输出的酒的类别。 从上面的仿真结果可以看出，该网络并没有输出我们所期望的结果，它把后20组数据都归成了一类，没有实现模式的识别。 为了找出原因所在，以及检测我们所建的PNN网络是否正确，本文采用了如下方法:即用前30组数据用来学习训练，同样也采用前30个样本来进行模式的分类与判别，仿真结果如下: datat1 = 2.9530 datat2 = 0.3750 yc = Columns 1 through 23 2 3 3 1 1 4 1 3 3 3 1 1 3 3 4 4 3 2 4 1 3 2 3 Columns 24 through 29 4 1 3 3 1 3 通过将上面结果与我们已知的数据相比较，可知此次的预测与所知的类别结果完全相吻合，这说明所构建的PNN网络是可信的，通过学习能正确地预测和判别。但是针对第一次不成功的仿真结果，说明有可能是我们所设的平滑因子不合理，N值过小，不能正确分类。下面我们将N值调大，看看结果如何。 , N=50时，仿真结果如下: datat1 = 0.3530 datat2 = 0.5220 yc = 2 3 1 4 2 4 1 1 1 3 3 1 2 3 1 1 3 2 2 3 1 3 8 表1 测试样本与期望输出对比表 样本号 数据一 数据二 数据三 网络输出 期望输出 21 1 1 576.6 2140.98 3320 22 3 3 1724.13 1704.49 1798.75 23 2 2 2501.21 2652.65 984.56 24 1656.94 1913.34 2459.07 3 3 25 4 362.51 3150.03 2472 4 26 565.74 2284.97 3024.58 1 1 27 1978.06 1536.13 2375.64 3 3 28 1661.06 1552.4 2005.05 3 3 29 790.29 2419.98 3051.16 1 1 30 3 1557.27 1746.27 1879.13 3 为了验证上面的输出结果是否准确，现在我们采用同样的平滑因子，用前20个样本来学习，第21—30这10个样本作为测试，看输出的结果是否与我们所期望的结果一致。 见表1所示，通过表1中网络的输出与期望的输出对比，我们可知两个结果完全一致，说明此次的平滑因子取值较为成功，并且可以判定该PNN网络具有很高的准确性。 同样，通过上面验证我们可以判断出当N=50时对后20组数据的预测具有很高的准确性，下面我们可以通改变N 的大小进而来验证我们的推断是否正确。当N取100、150、200….、450时，PNN网络所输出的预测结果与上面的结果都是一致的，进而确保了此时的预测的正确性。 , 当N=500时，仿真的结果如下: datat1 = 1.4370 datat2= 0.4380 yc = 2 3 1 4 2 4 1 1 1 3 3 1 2 3 1 1 3 2 2 3 3 3 9 Testing the network. 1 3000342000 100015005002000100015002250020003000250030003500 图2 N=50时分类的结果 Testing the network. 43000 20001 1000 5003 1000 1500220003500300025002500200030001500 图3 N=500时分类的结果 通过与N=50时的结果对比，可知此时的输出中第1和第3类别的数量发生了改变。为了更清楚地对照两个输出结果，见三维图2和图3。 从图3中，以及运行的结果中可以看出当N取不同的值时，结果已经发生了改变。从三维的效果图中可以看出当N=500时，本次聚类的效果并不是十分理想，出现了边缘点。所以当N取500时，平滑因子过大，出现了逼近误差。 3.3 结论 在实际的模式识别中，N(平滑因子)的取值大小直接影响到最终的分类效果，所以选取合适的平滑因子在识别过程中显得尤为重要。如果取值太大，密度估计比较平滑但细节丢失严重;取值太小，密度估计会呈现较多的尖峰突起。常用的平滑因子选取方法大多为在数据样本究竟上取一个合适的固定值。 10 4 总结 本文针对概率神经网络在模式分类方面的显著特点,提出利用PNN模型进行酒类识别。经过网络模型的回判模拟与网络性能的测试及其实际识别结果来看,PNN模型进行识别是行之有效的。 从PNN网络的构建、训练、测试以及对最后的未知样本进行预测等，都可以看出网络的训练时间短，效率高，并且准确性也非常值得肯定，所以在模式识别领域里，PNN神经网络的确有着很大的优越性。 11 参考文献 [1] 边肇祺、张学工.模式识别(第二版)。清华大学出版社 [2] 袁曾任.人工神经元网络及其应用[M]。北京:清华大学出版 [3] 江东,王建华.人工神经网络在遥感中的应用与发展[J].国土资源遥感, 1999(2): 12-18。 [4] 段磊,马义德,许勇,韩明秋.一种改进的基于小波变换与 PNN 的指纹识别算法。自动化技术与应用,2005 年,24(6):12-15。 12