模式识别-神经网络综述

结课论文 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 目：  神经网络综述      学    院   河北大学工商学院      学科门类         理科            专    业       网络 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理           学    号       2013483158      姓    名         苑磊          指导教师     李凯，邢洪杰        2016年11月3 日 学号：2013483158  专业：13级网络工程1班   姓名：苑磊  成绩： 神经网络综述 一 摘要 作为一门近年来活跃的交叉性边缘学科，神经网络已经广泛的应用于图像的分割和对象的识别、分类问题中。近些年来，针对神经网络的学术研究大量涌现，由于他看起来不需要使用者对数学模型尤很多的了解，其基本思想很快被各个领域所接受，而随着人工神经网络的发展，神经网络模式识别在模式识别领域中起着越来越重要的作用。其中多层感知器神经网络具有通用非线性判别函数逼近器的性质，因此它在模式识别问题中得到了广泛的应用。BP神经网络算法是在BP神经网络现有算法的基础上提出的，是通过任意选定一组权值，将给定的目标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 的局部极小及收敛速度慢的问题，且更易理解。尤其是对于非线性的模式识别问题，相对于传统方法，其具有更好的特点。本文介绍了神经网络的一些概况，基本模型，以及神经网络模式识别的特点及算法思想。 二：关键词 神经网络、模式识别、多层感知网络、BP神经网络算法 三：正文 1.引言 人类对于认知的探索由来已久。但由于科学技术发展水平所限，人们对人脑的认识主要停留在观察和猜测的基础之上，缺乏有关人脑内部及其工作原理的科学依据，因此进展缓慢。直到20世纪40年代，随着神经解刨学、神经生理学以及神经元的电生理过程等的研究取得突破性进展，人们对人脑的结构、组成及最基本工作单元有了越来越充分的认识，在此基本认识的基础上，以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立简化的模型，称之为人工神经网络ANN（Artificial Neural Network），为叙述方便将人工神经网络直接称之为神经网络。 模式识别是一种基本的智能活动，对模式识别方法的研究是机器智能研究的一个重要方面。人们对机器智能的研究有主要两个出发点，一是通过试图对人类（和其他高度动物）的自然智能建立一定的数学模型，来帮助理解智能活动的奥秘；二是利用各种数学手段，以计算机为工具建立具备一定智能的机器。早在20世纪40~50年代，人们就开始尝试研究神经系统的数学模型。从20世纪80年代以来，人们开始更大量借用神经生物学的概念（至少是术语）来研究机器智能，诞生了一门新兴的学科——人工神经网络，为模式识别的方法体系注入了新鲜血液。采用不同的数学模型就得到不同的神经网络方法，其中最有影响力的模型应该是多层感知器（MLP）模型。他具有从训练数据中学习任意复杂的非线性映射的能力，也包括实现复杂的非线性映射的能力，也包括复杂的非线性分类判别函数。从模式识别角度，多层感知器方法可以看作是一种通用的非线性分类器设计方法。目前，神经网络已经广泛的应用于图像的分割和对象的识别、分类问题中。根据神经网络的结构特点，人们通常把神经网络模型分成三种类型：前馈型网络（freedford network）、反馈型网络（feedback network）和竞争学习网络（competitive learning network）。 2.基本模型 2.1 典型神经元模型 一个典型的简化了的神经元工作过程是这样的：来自外界（外界或其它细胞）的电信号通过突触传递给神经元，当细胞收到的信号总和超过一定的阈值后，细胞被激活，通过轴突向下一个细胞发送电信号，完成对外界信息的加工。 2.2McCulloch-Pitts模型 MaCulloch-Pitts模型是W.S.McCulloch和W.H.Pitts在1943年提出的。图中x1~xn表示神经元的多个树突接收到的信号，n是向量x的维数，w1，…，wn称作权值，反映各个输入信号的作用强度。神经元的作用是将这些信号加权求和，当求和超过一定的阈值后神经元即进入激活状态，输出值y=1；否则神经元处于抑制状态，输出值为0。 2.3 BP神经网络 BP神经网络是基于BP算法的多层前馈网络，其网络结构简单，算法成熟，具有自学习和自适应等优点，并且具有非线性动力学的特点。BP算法通过输入、输出数据样本集，根据误差反向传递的原理，对网络进行训练，其学习过程包括信息的正想传播过程以及误差的反向传播这两个过程，对其反复训练，连续不断地在相对误差函数梯度下降的方向上，对网络权值和偏差的变化进行计算，逐渐逼近目标。典型的BP神经网络由一个输入层、至少一个隐含层和一个输出层组成。一个典型的三层BP神经网络如图所示。 3. 主要内容 3.1神经网络的定义 神经网络是由多个简单的处理单元彼此按某种方式相互连接而形成的计算机系统,该系统通过对连续或断续式的输入作状态响应而进行信息处理。 3.2神经网络模式识别的优点 神经网络在模式识别、智能控制、信号处理、计算机视觉、优化计算、知识处理、生物医学工程领域已有广泛的应用，模式识别是神经网络的主要应用领域之一。神经网络模式识别法与传统方法相比具有下面几个明显的优点： 1 具有较强的容错性，能够识别带有噪声或畸变的输入模式。 2 具有很强的自适应学习能力。 3 能够把识别和若干预处理融为一体进行。 4 采用并行工作方式。 5 对信息采用分布式记忆，信息不易丢失。 3.3人工神经网络模型的分类 1、按照网络的结构区分，则有前向网络和反馈网络。 2、按照学习方式区分，则有教师学习和无教师学习网络。 3、按照网络性能区分，则有连续型和离散性网络,随机型和确定型网络。 4、按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络。 5、按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。通常人们较多地考虑神经网络的互连结构。神经网络有分层网络、层内连接的分层网络、反馈连接的分层网络、互连网络等4种互连结构。 3.4 BP算法思路 BP算法的目标函数是神经网络在所有训练样本上的预测输出与期望输出的均方程差，采用梯度下降发法通过调整各层的权值求目标函数最小化。其基本做法是在训练开始之前，随机的赋予各权值一定的初值。训练过程中，轮流对网络施加各个训练样本。当某个训练样本作用于神经网络输入端后，利用当前权值计算神经网络的输出，这是一个信号从输入到隐层再到输出的过程，称作前向过程。考查所得到的输出与训练样本的已知正确输出之间的误差，根据误差对输出层权值的偏导数修正输出层的权值；把误差反向传递到倒数第二层的各节点上，根据误差对这些节点权值的偏导数修正这些权值，依次类推，直到把各层的权值都修正一次。然后，从训练集中抽出另外一个样本进行同样的训练过程。如此不断的进行下去，直到在一轮训练中总的误差水平达到预先设定的阈值，或者训练时间达到预定的上限。 3.5传统的BP算法 BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： BP算法具体步骤： （1）初始化，随机给定各连接权[w],[v]及阀值θi，rt。 （2）由给定的输入输出模式对计算隐层、输出层各单元输出 bj=f（■wijai-θj） ct=f（■vjtbj－rt） 式中：bj为隐层第j个神经元实际输出；ct为输出层第t个神经元的实际输出；wij为输入层至隐层的连接权；vjt为隐层至输出层的连接权。 dtk=（ytk－ct）ct（1－ct） ejk=[■dtvjt] bj（1－bj） （3）选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。 传统的BP算法，实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法，但其收敛速度慢且容易陷入局部极小，为此提出了一种新的算法，即高斯消元法。 3.6改进的BP算法 对给定的样本模式对，随机选定一组自由权，作为输出层和隐含层之间固定权值，通过传递函数计算隐层的实际输出，再将输出层与隐层间的权值作为待求量，直接将目标输出作为等式的右边建立方程组来求解。 现定义如下符号（见图1）：x （p）输入层的输入矢量；y （p）输入层输入为x （p）时输出层的实际输出矢量；t （p）目标输出矢量；n，m，r分别为输入层、隐层和输出层神经元个数；W为隐层与输入层间的权矩阵；V为输出层与隐层间的权矩阵。具体步骤如下： （1）随机给定隐层和输入层间神经元的初始权值wij。 （2）由给定的样本输入xi（p）计算出隐层的实际输出aj（p）。为方便起见将图1网络中的阀值写入连接权中去，令：隐层阀值θj=wnj，x（n）=－1，则： aj（p）=f（■wijxi（p）） （j=1，2…m－1）。 （3）计算输出层与隐层间的权值vjr。以输出层的第r个神经元为对象，由给定的输出目标值tr（p）作为等式的多项式值建立方程，用线性方程组表示为： a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 简写为： Av=T 为了使该方程组有唯一解，方程矩阵A为非奇异矩阵，其秩等于其增广矩阵的秩，即：r（A）=r（A┊B），且方程的个数等于未知数的个数，故取m=p，此时方程组的唯一解为： Vr=[v0r，v2r，…vmr]（r=0，1，2…m－1） （4）重复第三步就可以求出输出层m个神经元的权值，以求的输出层的权矩阵加上随机固定的隐层与输入层的权值就等于神经网络最后训练的权矩阵。 4.结论 人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在组合优化、预测、模式识别、智能控制等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。 5.参考文献 《模式识别（第三版）Pattern Recognition》张学工 编著 清华大学出版社