下载

1下载券

加入VIP
  • 专属下载券
  • 上传内容扩展
  • 资料优先审核
  • 免费资料无限下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 第五章 神经网络优化计算

第五章 神经网络优化计算.ppt

第五章 神经网络优化计算

山水树涛
2012-12-21 0人阅读 举报 0 0 0 暂无简介

简介:本文档为《第五章 神经网络优化计算ppt》,可适用于IT/计算机领域

第五章神经网络优化计算智能算法导论浙江大学人工神经网络的基本概念发展历史McCullochPitts神经元网络结构的确定关联权值的确定工作阶段多层前向神经网络一般结构反向传播算法反馈型神经网络离散Hopfield神经网络连续Hopfield神经网络Hopfield神经网络在TSP中的应用智能算法导论浙江大学智能算法导论浙江大学“神经网络”与“人工神经网络”年WarrenMcCulloch和WalterPitts建立了第一个人工神经网络模型年Minsky和Papert发表Perceptrons世纪年代Hopfield将人工神经网络成功应用在组合优化问题。智能算法导论浙江大学重要意义现代的神经网络开始于McCulloch,Pitts()的先驱工作他们的神经元模型假定遵循有无模型律如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作,McCullochPitts证明这样构成的网络原则上可以计算任何可计算函数标志着神经网络和人工智能的诞生。智能算法导论浙江大学结构McCullochPitts输出函数定义为:智能算法导论浙江大学线性网络激活函数满足f(cz)=cf(z),f(xy)=f(x)f(y)确定权数的常用规则·hebb规则McCullochPitts输出函数定义为:智能算法导论浙江大学网络的构建Y=F(X)网络的拓扑结构前向型、反馈型等神经元激活函数阶跃函数线性函数Sigmoid函数智能算法导论浙江大学激活函数(ActivationFunction)**激活函数(ActivationFunction)激活函数执行对该神经元所获得的网络输入的变换也可以称为激励函数、活化函数:o=f(net)、线性函数(LinerFunction)f(net)=k*netc、非线性斜面函数(RampFunction)**、非线性斜面函数(RampFunction)γifnet≥θf(net)=k*netif|net|<θγifnet≤θ γ>为一常数被称为饱和值为该神经元的最大输出。、非线性斜面函数(RampFunction)**、非线性斜面函数(RampFunction)、阈值函数(ThresholdFunction)阶跃函数**、阈值函数(ThresholdFunction)阶跃函数βifnet>θf(net)=γifnet≤θβ、γ、θ均为非负实数θ为阈值二值形式:ifnet>θf(net)=ifnet≤θ双极形式:ifnet>θf(net)=ifnet≤θ、阈值函数(ThresholdFunction)阶跃函数**、阈值函数(ThresholdFunction)阶跃函数βγθonet、S形函数**、S形函数压缩函数(SquashingFunction)和逻辑斯特函数(LogisticFunction)。f(net)=ab(exp(d*net))abd为常数。它的饱和值为a和ab。最简单形式为:f(net)=(exp(d*net))函数的饱和值为和。S形函数有较好的增益控制、S形函数**、S形函数无导师学习**无导师学习无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTraining)相对应抽取样本集合中蕴含的统计特性并以神经元之间的联接权的形式存于网络中。有导师学习**有导师学习有导师学习(SupervisedLearning)与有导师训练(SupervisedTraining)相对应。输入向量与其对应的输出向量构成一训练。有导师学习的训练算法的主要步骤包括:) 从样本集合中取一个样本(AiBi)) 计算出网络的实际输出O) 求D=BiO) 根据D调整权矩阵W)对每个样本重复上述过程直到对整个样本集来说误差不超过规定范围。Delta规则**Delta规则Widrow和Hoff的写法:Wij(t)=Wij(t)α(yjaj(t))oi(t)也可以写成:Wij(t)=Wij(t)Wij(t)Wij(t)=αδjoi(t)δj=yjaj(t)Grossberg的写法为:Wij(t)=αai(t)(oj(t)Wij(t))更一般的Delta规则为:Wij(t)=g(ai(t)yjoj(t)Wij(t))确定的内容权值wi和θ确定的方式学习(训练)有指导的学习:已知一组正确的输入输出结果的条件下神经网络依据这些数据调整并确定权值无指导的学习:只有输入数据没有正确的输出结果情况下确定权值。智能算法导论浙江大学学习与工作的关系先学习→再工作智能算法导论浙江大学前馈型网络(BP网络):一类单方向层次型网络模块它包括输入层、输出层和中间隐蔽层。从学习的观点看前馈型网络是一类强有力的学习系统其结构简单且易于编程。而从信息处理观点看它主要是一类信息“映射”处理系统可使网络实现特定的刺激–––反应式的感知、识别和推理等。(万能函数逼近器)反馈型动态网络(Hopfield网络):一类可实现联想记忆及联想映射的网络这一颇具吸引力的特性使得它在智能模拟中被广泛关注。反馈型动态网络可用于信息处理系统在于它具有稳定吸引子。(可用于优化计算领域)智能算法导论浙江大学智能算法导论浙江大学多层两层以上前向无反馈智能算法导论浙江大学智能算法导论浙江大学学习规则最小二乘原则智能算法导论浙江大学目的确定权值方法反向推导智能算法导论浙江大学一般结构各神经元之间存在相互联系分类连续系统:激活函数为连续函数离散系统:激活函数为阶跃函数智能算法导论浙江大学Hopfield神经网络年提出Hopfield反馈神经网络(HNN)证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。是典型的全连接网络通过引入能量函数使网络的平衡态与能量函数极小值解相对应。智能算法导论浙江大学网络结构N为网络节点总数。智能算法导论浙江大学网络结构一般认为vj(t)=时神经元保持不变sj(t)=sj(t)一般情况下网络是对称的(wij=wji)且无自反馈(wjj=)整个网络的状态可用向量s表示:智能算法导论浙江大学工作方式串行(异步asynchronous):任一时刻只有一个单元改变状态其余单元保持不变并行(同步synchronous):某一时刻所有神经元同时改变状态。稳定状态如果从t=的任一初始态s()开始变化存在某一有限时刻t从此以后网络状态不再变化即s(t)=s(t)则称网络达到稳定状态。智能算法导论浙江大学能量函数的定义异步方式:同步方式:智能算法导论浙江大学能量函数能量是有界的:从任一初始状态开始若在每次迭代时都满足ΔE≤则网络的能量将越来越小最后趋向于稳定状态ΔE=。智能算法导论浙江大学能量函数分析异步(且网络对称wij=wji)情况下:假设只有神经元i改变状态智能算法导论浙江大学能量函数分析异步(且网络对称wij=wji)情况下:假设只有神经元i改变状态智能算法导论浙江大学能量函数分析同步(且网络对称wij=wji)情况下:智能算法导论浙江大学网络结构与电子线路对应:放大器神经元电阻、电容神经元的时间常数电导权系数智能算法导论浙江大学网络的微分方程能量函数可证明若g为单调增且连续Cj>Tji=Tij则有dEdt≤当且仅当dvidt=时dEdt=。智能算法导论浙江大学能量函数随着时间的增长神经网络在状态空间中的解轨迹总是向能量函数减小的方向变化且网络的稳定点就是能量函数的极小点。智能算法导论浙江大学能量函数将动力系统方程简单记为:如果则称ve是动力系统的平衡点也称ve为吸引子。智能算法导论浙江大学能量函数当从某一初始状态变化时网络的演变是使E下降达到某一局部极小时就停止变化。这些能量的局部极小点就是网络的稳定点或称吸引子。智能算法导论浙江大学Hopfield网络设计当Hopfield用于优化计算时网络的权值是确定的应将目标函数与能量函数相对应通过网络的运行使能量函数不断下降并最终达到最小从而得到问题对应的极小解。智能算法导论浙江大学Hopfield网络设计通常需要以下几方面的工作:()选择合适的问题表示方法使神经网络的输出与问题的解相对应()构造合适的能量函数使其最小值对应问题的最优解智能算法导论浙江大学Hopfield网络设计通常需要以下几方面的工作:()由能量函数和稳定条件设计网络参数如连接权值和偏置参数等()构造相应的神经网络和动态方程()用硬件实现或软件模拟。智能算法导论浙江大学TSP问题的表示将TSP问题用一个n×n矩阵表示矩阵的每个元素代表一个神经元。代表商人行走顺序为:→→→每一行、每一列的和各为。能量函数的构建每个神经元接收到的值为zij其输出值为yij激活函数采用Sigmoid函数记两个城市x和y的距离是dxy。)希望每一行的和为即最小每一行最多有一个时E=。智能算法导论浙江大学能量函数的构建)希望每一列的和为即最小每一列最多有一个时E=。)希望每一行每一列正好有一个则为零。智能算法导论浙江大学能量函数的构建)EEE只能保证TSP的一个可行解为了得到TSP的最小路径当duv=dvu时希望最小其中yu=yunyu(n)=yu。duvyuiyv(i)表示城市u和v之间的距离(i代表行走顺序)。智能算法导论浙江大学能量函数的构建)根据连续Hopfield神经网络能量函数最后能量函数表示为:ABCDα为非负常数。智能算法导论浙江大学能量函数的构建由动力学方程智能算法导论浙江大学能量函数的构建整理后得到:智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学城市TSP问题(d*=)流程图:智能算法导论浙江大学城市TSP问题(d*=)初始参数:α=A=B=D=C=激励函数为Sigmoid其中μ=智能算法导论浙江大学城市TSP问题(d*=)初始参数:初始的yui初始的zuiλ=智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学城市TSP问题(d*=)智能算法导论浙江大学基于Hopfield网络优化的缺陷用Hopfield网络优化的出发点建立在:()神经网络是稳定的网络势必收敛到渐进平衡点()神经网络的渐进平衡点恰好是能量函数的极小值。智能算法导论浙江大学基于Hopfield网络优化的缺陷用Hopfield网络优化会导致:()网络最终收敛到局部极小解而非全局最优解()网络可能会收敛到问题的不可行解()网络优化的最终结果很大程度上依赖于网络的参数。智能算法导论浙江大学第五章结束智能算法导论浙江大学

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

评分:

/65

VIP

意见
反馈

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利