关闭

关闭

关闭

封号提示

内容

首页 5.第五章 神经网络.PPT

5.第五章 神经网络.PPT

5.第五章 神经网络.PPT

上传者: 杰斯特洛夫斯基88 2012-04-30 评分 0 0 0 0 0 0 暂无简介 简介 举报

简介:本文档为《5.第五章 神经网络ppt》,可适用于经济金融领域,主题内容包含第五章类神经网络第五章类神经网络*什么是类神经网络什么是类神经网络类神经网络(NeuralNetworkNN)类似人类神经结构是“一种基于脑与神经系符等。

第五章类神经网络第五章类神经网络*什么是类神经网络什么是类神经网络类神经网络(NeuralNetworkNN)类似人类神经结构是“一种基于脑与神经系统研究所启发的信息处理技术”。它具有人脑功能基本特性:学习、记忆和归纳。神经网络中的几个术语:树突(Dendrites):神经元中负责把神经脉冲传递至细胞体的神经纤维。神经核(soma):神经元的中央处理部位。轴突(Axon):神经元中负责把神经脉冲从细胞体往外传递的神经纤维。突触(Synapse):神经元之间的连结机制。***类神经网络类似人类神经元结构。神经元的主要功能是接受刺激和传递信息。神经元通过传入神经接受来自体内外环境变化的刺激信息并对这些信息加以分析、综合和储存再经过传出神经把指令传到所支配的器官和组织产生调节和控制效应。**yVj神经网络的特点:*类神经网络和回归分析不同没有任何假设的概率分布是模式识别和误差最小化的过程在每一次经验中提取和学习信息。类神经网络可以处理连续型和类别型的数据对数据进行预测。神经网络是有监督学习。神经网络的特点:二、类神经网络的架构二、类神经网络的架构类神经网络主要结构是由神经元(neuron)、层(layer)和网络(network)三个部份所组成。整个类神经网络包含一系列基本的神经元通过权重(weight)相互连接。这些单元以层的方式组织每一层的每个神经元和前一层、后一层的神经元连接。*后向传播神经网络后向传播神经网络输入层隐藏层(可多层)输出层(决策层)*神经元什么是后向传播?什么是后向传播?后向传播是一种按误差逆传播算法训练的多层前馈网络的学习算法。这个神经网络包括输入层、隐藏层和输出层。这种学习算法下的神经网络是一组连接的输入输出单元其中每个连接都与一个权相连。它的学习规则是使用最速下降法按照误差纠正规则反向传播来不断调整网络的权值和阈值使网络的误差平方和最小从而使得能够预测输入样本的正确类标号。前向传播:在前向传播过程中神经网络中的所有突触的权重都是固定不变的。*什么是前馈神经网络:不同的信息流向导致不同类型的网络可区分为”前馈神经网络”(feedforwardneuralnetwork)和”反馈式神经网络”(feedbackneuralnetwork)。*什么是前馈神经网络:前馈神经网络是指信息只朝一个方向流动也就是数据在神经元之间的流动方向是单向的没有循环。这种网络而在分类过程中数据只能向前传送直到到达输出层层间没有向后的反馈信号因此被称为前馈网络。后向传播是在多层前馈神经网络上学习的。*什么是反馈式神经网络?反馈式神经网络是指数据在神经元之间的流动方向是双向关系神经元会输出到其他所有的神经元也会接收其他神经元的输出成为输入。*什么是反馈式神经网络?什么是自组织网络(SOM,SelfOrganizingNeuralNetworks)什么是自组织网络(SOM,SelfOrganizingNeuralNetworks)自组织神经网络是一种无监督学习网络。它通过自动寻找样本中的内在规律和本质属性自组织、自适应地改变网络参数与结构。*什么是层?*类神经网络的分为输入层、输出层和隐藏层三层连结形成一个神经网络。输入层只从外部环境接收信息该层的每个神经元相当于自变量不完成任何计算只为下一层传递信息。输出层生成最终结果为网络送给外部系统的结果值。什么是层?*隐藏层介于输入层和输出层之间这些层完全用于分析其函数联系输入层变量和输出层变量使其更拟合(fit)资料。隐藏层的功能主要是增加类神经网络的复杂性以能够模拟复杂的非线性关系。隐藏层的多少要适当过多容易过度拟合。一层加权神经元的网络称单层感知器多层加权神经元的网络称多层感知器(multilayerperceptrons)。一个输出元的两层神经网络一个输出元的两层神经网络*神经网络的形式:*一个输出元的三层神经网络多个输出元的三层神经网络多个输出元的三层神经网络*三、神经元的结构三、神经元的结构*一个神经元j有阈值从上一层连接的神经元得到n个输入变量X每个输入变量附加一个链接权重w。输入变量将依照不同权重加以合并(一般是加权总和)链接成组合函数(combinationfunction)组合函数的值称为电位(potential)然后启动(转换、激活、赋活)函数(activationfunction)将电位转换成输出信号。n表示变量的个数Oi表示第i个输入值(X)Wij表示第j个神经元的第i个输入值的权重::ooonwjwjwnjOjIjf(Ij)*是第j个神经元的偏置(偏差):偏差有增大或者减小激活函数的净输入的作用取决于该偏差是负值还是正值。表示第j个神经元的输入值(组合函数)。f(•)是神经元的启动(激活或赋活)函数Oj=f(Ij)是第j个神经元的输出值(Y)。四、启动函数f(•)类型四、启动函数f(•)类型*、线性启动函数:启动函数就是负责将神经元接受的输入脉冲总和转换成输出脉冲但是人类神经在处理外部刺激时输出信号是有极限的否则可能会因为输出信号过强而造成对神经元的伤害。因此类神经网络在选取启动函数时不能够使用传统的线性函数通常来说会选择兼具正向收敛与负向收敛的函数。*阶梯(step)启动函数的一般形式:阶梯启动函数又称阈值(threshold)启动函数。当时得到当时得到对称阶梯函数。即:*Sigmoid(或称S型)启动函数Sigmoid启动函数输出值界于和或是和之间是单调递增函数函数型数有许多种最常用的是Logistic函数。式中α是正常数(一般为零)Sigmoid启动函数是最常用启动函数非线性函数但是易于微分和了解。**、分段线性启动函数、分段线性启动函数**、高斯启动函数钟型曲线(bellshapedcurve)输出值在和之间其中是均值V是函数事先定义的方差。五、类神经网络的训练五、类神经网络的训练*类神经网络学习前必须建立出一个训练样本(trainingpattern)使类神经网络在学习的过程中有一个参考训练样本的建立来自于实际系统输入与输出或是以往的经验。例如:洗衣机洗净衣服的时间与衣服的质料、数量、肮脏的程度有关因此我们必须先针对不同质料、数量、肮脏的程度的衣服统计出洗衣所需的时间建立训练样本。不同衣服的质料、数量、肮脏程度就是类神经网络的输入而洗衣所需的时间则为类神经网络的目标值(target)也就是类神经网络的参考输出。*神经网络学习就是不断调整权重的过程。训练之前必须将数据集分为训练数据集和测试数据集将权重指定给第一层的神经元。大多数软件包使用向后传播方法(Backpropagation)任何一种后向传播算法的最重要部分都是使用误差度量来调整权重。六、权重和偏置的调整后向传播神经网络通过更新权重和偏置使得网络预测的误差达到最小。具体步骤如下:通过输入节点将输入变量加以标准化标准化后的变量数值落在和之间或者是和之间。将网络权重初始值设定为(或随机产生)。通过各节点的函数估计数据的目标变量值。*六、权重和偏置的调整比较实际值和估计值之间的误差并根据误差值重新调整各权重和偏置。重新执行第二步骤反复执行一直到实际值和估计值之间的误差值最小此时才停止学习此时获得最佳权重。*举例说明权重和偏置的调整过程*举例说明权重和偏置的调整过程、首先利用随机的方式产生各神经元间的权重以及隐藏层与输出层神经元的偏置。*、根据输入信号计算各隐藏层神经元的输出信号假设输入的样本是(X,X,X,Y)=(,,,)。神经元:神经元:*、根据隐藏层输出信号计算输入层神经元的输出信号。神经元*、此时输出值与真值不一致我们可以计算神经元的误差项。神经元的误差项:、将此误差项反馈至隐藏层此时可以计算隐藏层神经元误差值。神经元误差项:神经元误差项:*、最后根据神经元误差项更新各神经元的权重以及偏置假设学习速率为。*学习速率:通常是介于~之间当其数值越大每次权数的修正量就越大。不能太小或太大。经验设置为tt为迭代次数。目前调整权重的方法是一种最陡坡降法。如此即达成一个学习循环的类神经网络权重修正接下来持续此步骤使得输出值越来越接近真值从而达到建立模型的目的。另外根据理论当学习时间无限长时误差应该会无限接近于零。但事实上如果当模型训练越久就有可能出现过度拟合的问题因此一般有两种方法来处理:设定阀值。使用测试样本。一般测试组误差一开始会随着上述误差的减小而减小但当过度拟合现象发生时测试组的误差会开始从小到大变化。*七、类神经网络的优点七、类神经网络的优点类神经网络可以建构非线性的模型模型的准确度高。类神经网络有良好的推广性对于未知的输入亦可得到正确的输出。类神经网络可以接受不同种类的变量作为输入适应性强。类神经网络可应用的领域相当广泛模型建构能力强。类神经网络具模糊推论能力允许输出入变量具模糊性归纳学习较难具备此能力。*八、类神经网络的缺点八、类神经网络的缺点类神经网络的隐藏层一般为层数目可设为任意数目且有学习速率等参数需设定工作相当费时。类神经网络以迭代方式更新阀值计算量大相当耗费计算机资源。类神经网络的解有无限多组无法得知哪一组的解为最佳解。类神经网络是以建立数值结构(含加权值的网络)来学习其知识结构是隐性的缺乏解释能力。**

职业精品

用户评论

0/200
    暂无评论

精彩专题

上传我的资料

热门资料

资料评价:

/40
1下载券 下载 加入VIP, 送下载券

意见
反馈

返回
顶部

Q