人工神经网络简介 一、人工神经网络的发展 ⑴Mcculloch（生理学家）和Pitts(数理逻辑学家)1943年首次提出神经网络数学模型；M-P数学模型，神经元的数学模型。 ⑵Von Neumann冯·诺依曼模型 ⑶50年代，F·Rosenblatt单层网络，可学习——感知机 ⑷1962年Widraw提出自适应线性元件网络 ⑸Hopfield1982和1984年发表论文，将能量函数引入神经网络计算——HNN模型 ⑹1986年Rumelhart提出PDP理论，解决中间层神经元权的调整问题，并行分布式，——多层网络的反向传播算法。 BP——Error Back Propagation误差反向传播算法（前向网络的一种） 二、神经元的特点 ⑴神经元是一个多输入、单输出的元件 ⑵神经元是一个具有非线性的元件 ⑶神经元具有可塑性，传递强度可变 ⑷神经元的输出是每个输入综合的结果 三、人工神经网络特点 ⑴分步存储与容错性 ⑵并行处理 ⑶信息处理与存储合二为一 ⑷层次性与系统性 四、BP人工神经网络 1、BP网络的学习过程 ⑴模式的顺向传播过程 ⑵误差的逆向传播过程 ⑶记忆训练过程：⑴、⑵的交替过程 ⑷学习的收敛过程：E->min 2、输入输出变换函数：f(x) ①阶跃函数： f(x)= （不可导） ②S型函数 f(x)= （可导） ③比例函数 f(x)=kx ④符号函数 f(x)= ⑤饱和函数 f(x)= ⑥双曲函数 f(x)= 3、M-P神经元模型 输入向量：X=(X1,X2,…,Xn) 权值向量：W=(w1,w2,…,wn) 阈值：θ 输出：y=f( ) 若f(x)为阶跃函数 则f(x)= 5、BP网络学习算法 ⑴变量假定： 输入： Ak=(a1k,a2k,…,ank) 希望输出： Yk=(y1k,y2k,…,yqk) 中间层神经元输入： Sk=(s1k,s2k,…,spk) 中间层神经元输出： Bk=(b1k,b2k,…,bpk) 输出层神经元输入： Lk=(l1k,l2k,…,lqk) 输出层神经元实际输出：Ck=(c1k,c2k,…,cnk) 中间层神经元阈值： θj(j=1,2,…,p) 输出层神经元阈值： γt(t=1,2,…,q) S型函数： f(x)=1/(1+e-x),f'(x)=f(x)[1-f(x)] （中间层两端可取不同函数，但此处相同。） 输入层与中间层连接权值：wij(i=1,2,…,n,j=1,2,…,p) 中间层与输出层连接权值：vjt(j=1,2,…,p,t=1,2,…,q) ⑵模式顺传播过程： 中间层神经元输入： Sj= (j=1,2,…,p) 中间层神经元输出： Bj=f1(sj) (j=1,2,…,p) 输出层神经元输入： Lt= (t=1,2,…,q) 输出层神经元实际输出： Ct=f2(Lt) (t=1,2,…,q) 误差函数： Ek= ->min 权值调整： （按负梯度方向变化或梯度下降原则，应使 的负值成正比例变化，优化算法中得到。） （wij对所有输出都有影响，与Δvjt不同。） 令dtk=(ytk-ctk)f2'(Ltk)=δtkf2’(输出层广义误差,= ) 则Δvjt= dtk bjk —Hebb
规则
编码规则下载淘宝规则下载天猫规则下载麻将竞赛规则pdf麻将竞赛规则pdf
( —学习率，dt —广义误差，bj—输入) Δwij= 令ejk= (广义误差) 则Δwij=βejkaik (Hebb学习规则，β学习率) 后层误差加权后传向前层误差dtk ejk 阈值修正值： Δγt= dtk Δθj=βejk 6、BP网络学习算法流程图 ⑴初始化 赋予[-1，+1]间随机值 ⑵随机选取一模式对（Ak,yk）提供给网络 ⑶计算中间层单元的输入与输出 Sj= （i=1,2,…,n） Bj=f1(sj) (j=1,2,…,p) ⑷计算输出层单元的输入及输出 Lt= (t=1,2,…,q) Ct=f2(Lt) ⑸计算输出层一般误差 dtk=(ytk-ct)f2'(Lt) (t=1,2,…,q) ⑹计算中间层各单元一般化误差 ejk= ⑺权值修正 vjt(N+1)= vjt(N) +αdtk bj (j=1,2,…,p) γt(N+1)= γt(N)+αdtk (t=1,2,…,q) wij(N+1)= wij(N)+βejkaik θj(N+1)= θj(N)+βejk ⑻随机选取一个学习模式提供给网络，返回⑶，直到m个模式训练完毕 ⑼重新从m个模式对中随机选取一个模式对重返⑶，直到全局误差
浙公网安备 33021202002483