典型人工神经网络B

第五章　典型人工神经网络感知器1径向基函数神经网络2Hopfield神经网络3第5.1节感知器5.1.1感知器模型和用途5.1.2多层感知器模型和学习算法5.1.3多层感知器应用实例第5.1节感知器5.1.1感知器模型和用途5.1.2多层感知器模型和学习算法5.1.3多层感知器应用实例5.1.1感知器模型和用途1.结构和数学模型神经元输入：神经元输出：向量形式：感知器输入输出函数为：5.1.1感知器模型和用途神经元输入：神经元输出：说明：(1)原始感知器模型采用阈值函数类型的激励函数(2)现常用Sigmoid函数作为激励函数(3)针对阈值函数讨论其用途5.1.1感知器模型和用途2.两种理解方式（用途）(1)模式识别器（分类器）(2)逻辑函数解决只有2类模式的识别问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 y=1，x属于第二类y=0，x属于第一类只能识别具有线性边界的识别问题二值逻辑元，实现布尔代数的某些运算，包括：“与”、“或”和“非”不能实现“异或”P119图5.1.2P120图5.1.3x1x2xnw1w2wn..X0=1w0M-P感知机是一个多输入单输出的模型，虽然结构简单，但具有一定的计算能力。通过学习（权重），它能够正确地分类样本（二分类），但只能线性分类。单一人工神经元——单层感知机∧000010100111∨000011101111与逻辑或逻辑分类能力 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 ⊕000011101110异或逻辑andorxor单层感知机通过适当的选择权重，单层感知机能够实现and,or,not布尔逻辑。单层感知机找不到相应的权重来实现XOR逻辑单层感知机不具备非线性分类能力！第5.1节感知器5.1.1感知器模型和用途5.1.2多层感知器模型和学习算法5.1.3多层感知器应用实例结构特征：在输入层和输出层之间嵌入一层或多层隐含层。隐含单元既可以与输入输出单元相连，也可以与其它隐含单元相连。分类：含一个隐含层前向传播网络L+1层前向传播网络多层感知器模型结构特点：5.1.2多层感知器模型和学习算法5.1.2多层感知器模型和学习算法………x1x2xniy1y2含一个隐层的感知器模型隐含层输出：输出层输出：数学描述………x1x2xniy1y2ynoL+1层前向传播网络多层感知器模型的功能：5.1.2多层感知器模型和学习算法(1)实现任意的布尔函数；(2)在模式识别问题中，它能划分输入空间，生成复杂的边界；(3)最后，它能逼近从到的任意连续映射。说明：(1)激励函数只要求连续、光滑、单增、上下有界的非线性函数即可(2)为简化计算，输出层常采用线性神经元前向传播网络实质上 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示的是一种从输入空间到输出空间的映射。网络的训练实质上是对突触权阵的调整，以满足当输入为Xp时其输出应为Yd。思想：前向计算得到网络的输出,反向计算得到误差的积累，由梯度下降法调整权值。学习算法5.1.2多层感知器模型和学习算法学习算法结构图5.1.2多层感知器模型和学习算法误差的平方和梯度下降法：权值的变化与误差梯度的下降成正比，使误差指标不断减小。正定的、可微的凸函数N个样本性能指标………x1x2xno1o2om……学习算法学习算法（续）神经网络输入神经网络输出隐层输出加权矩阵阈值向量非线性作用函数（激活函数）期望输出第一隐层输出：学习算法（续）第二隐层输出：输出层输出：第一步：计算梯度学习算法（续）第二步：计算梯度学习算法（续）第三步：计算梯度学习算法（续）选定初始加权矩阵一般给一组较小的随机数。对每个样本重复下述过程，直到收敛：学习算法描述正向过程计算反向过程计算修正权值第二隐层与第一隐层连接权值及阈值更新：第一隐层与输入层连接权值及阈值更新：输出层与第二隐层连接权值及阈值更新：学习算法描述（续）初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值改变训练样本训练样本终止？迭代终止？NoNoyy算法基本流程权系数的初值：随机选较小的值，尽量均匀覆盖权值空间，避免出现初始权值相同的情况。学习方式:增量型学习方法效果好；累积型学习方法速度快。激励函数：非减可微函数。可通过调节Sigmoid函数的斜率或采用其它激励函数来改善网络的学习性能。学习速率：学习速率小，训练速度慢；学习速率大，训练速度快，可能出现振荡现象。影响BP学习算法的因素非线性优化的局部极小，或振荡不收敛；收敛速度很慢；新样本的加入会影响已学习过的老样本。BP学习算法的局限性选用不同的作用函数、性能指标；解决局部极小问题选用不同的初值迭代；激励函数加入斜率因子；模拟退火方法；分解子网。加快收敛速度采用不同的激励函数；变学习率方法；利用激励函数的二阶导数；最速下降法；组合学习方法；权值修正引入动量因子；遗传算法；等等。BP学习算法的改进准则：检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量；若不是这样，而产生了过调，那么就应该减小学习速率的值。调整公式：自适应变学习率方法在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。利用附加动量的作用则有可能滑过局部极小值。该方法是在反向传播法的基础上，在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。权值调节公式：动量因子，一般取0.95左右附加动量法网络的层数隐含层的神经元数初始权值的选取学习速率的选取期望误差的选取BP网络的设计理论上已经证明：至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。一般情况下，应优先考虑增加隐含层中的神经元数。能不能仅用具有非线性激活函数的单层网络来解决问题呢？结论是：没有必要或效果不好。BP网络的层数网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层要简单得多。在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。BP网络隐含层的神经元数初始权值的选取一般取初始权值在(-1，1)之间的随机数。学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定。小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间。BP网络学习速率的选取在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值。这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络。BP网络期望误差的选取例5.1.1P128BP网络训练5.1.3多层感知器应用实例Matlab命令窗口输入“Help函数名”可得到相关函数的详细介绍；补充：感知器神经网络工具箱函数输入Demop1利用具有2个神经元的感知器实现对5个输入数据的两分类补充：感知器神经网络工具箱函数常用指令：P175表7.2.2P180例7.2.1%感知器网络实验X=[-0.5-0.50.3-0.10.20.60.80.6;-0.50.5-0.510.5-0.90.8-0.6]T=[11011010][w,b]=initp(X,T)[w,b,epochs,erros]=trainp(w,b,X,T)Y=simup(X,w,b)testX=[-0.50.3-0.90.4-0.10.2-0.60.80.10.4;-0.3-0.8-0.4-0.70.4-0.60.1-0.5-0.50.3]y=simup(testX,w,b)figureplotpv(testX,y)plotpc(w,b)误差曲线分类结果补充：BP网络工具箱函数BP网络演示函数nnd11nf-Networkfunctiondemonstration.nnd11bc-Backpropagationcalculationdemonstration.nnd11fa-Functionapproximationdemonstration.nnd11gn-Generalizationdemonstration.BP网络相关指令P181表7-2-3InitffSimuffTrainbpx例7.2.2方法一newfftrainSim例7.2.2方法二过程：输入训练样本X，T；利用相关指令初始化网络；initff;newff设置相关参数；见P189-P190；P191训练网络；trainbpx;train查看训练结果；simuff;sim输入测试数据；查看仿真结果；simuff;sim单神经元PID控制