权值直接确定的三角型模糊前向神经网络
. .
第卷第期 中山大学学报自然科学版 .
年 月
权值直接确定的三角型模糊前向神经网络
杨文光
华北科技学院基础部,北京
摘 要:为了确定前向神经网络的网络结构,提出了一种基于采样数据的含单隐层神经元的模糊前向神经网
络,反映了构造数据所蕴含的系统信息,其隐层神经元激励函数选择为三角型隶属函数和构造数据相应输出的乘
积。该网络模型可以随采样数据的多少自主选择构造数据,自主设定隐层神经元,利用权值直接确定法得到网
络最优权值。数值仿真实验表明,相比于现有文献的已有网络模型,模糊前向神经网络具有逼近精度高、网络
结构可调、较好的预测性和实时性高的优点。
关键词:模糊前向神经网络;权值直接确定法;三角型隶属函数;实时
中图分类号: 文献标志码: 文章编号:???
“眦
锄
.翰?耽“增
,
, ,’ 。? 珊 ??
豫: ,? 山,
’.
?’
,. 锄 , ?
?珊. 印 , ? .?. ?
远
?
:; ?肿;:?
神经网络的研究从世纪年代开始,经过 能力。前向神经网络的发展与问题并
存,从网络结
半个多世纪的发展,现已成为信息加工、处理、存 构来讲,隐层神经元数过少将无法达到学习和逼近 储和搜索的重要工具?,在分布式存储、并行性 的效果,隐层神经元数过多又将使网络出现过拟合 计算、智能控制、通信等方面备受研究者的关 等不良现象,同时在硬件实现上也将难以完成。文 注心。。前向神经网络是目前研究最多的网络形式 献利用逼近论对单一隐层前向神经网络进行 .和
之一,在 ..等为首的
了研究,在理论层面上阐述了神经网络的本质逼近 研究小组提出的具有强大学习和训练功能的学 阶既与隐层神经元个数有关,又与被逼近函数的光 习算法作用下,使其具有了逼近任意非线性函数的 。收稿日期:??
基金项目:中央高校基本科研业务费资助项目.;华北科技学院高等教育科学
研究资助课
题
作者简介:杨文光年生,男,讲师;:.. 万方数据第卷
中山大学学报自然科学版
滑性有关;随后,曹飞龙等在文献中使用构 八戈?叫盯戈吼
造法得出了单隐层神经网络逼近定义在紧集上的任 其中戈?为输入变量,凡为隐层神经元个数, 意连续函数的逼近速度不超过该网络的最佳多项式 。,:,?,。是输人层神经元与隐层神经元之 逼近的二倍的结论。最近几年关于神经网络的插值 间的连接权值向量,埘加。,埘:,?,训。是隐 性问题研究日渐增多,考虑到神经网络在全局上具 层神经元与输出层神经元之间的连接权值向量,盯
有较好的逼近精度,若再解决局部结点处的插值问 是隐层神经元激励函数,统是隐层神经元阈值江 题则会效果更好。卜 。文献?分别针对一 ,,?,。
般的激励函数和一类广义激励函数,构
定义 对于插值样本戈。,。,戈:,托,
造了精确插值和近似插值神经网络,讨论了逼近误 ?,戈。,。,若公式满足插值条件八,, 差,这些文献从理论上给出了满足插值意义的神经 则称以戈是采样数据的精确插值神经网络;若 网络存在性的证明,但构造非常复杂,并且缺少对 八戈一,,则称八是采样数据的近似插值神经 应的数值仿真算例加以佐证。
网络江,,?,。
前向神经网络与模糊系统的结合产生了模糊前 定义
设八戈,戈?口,, 戈是
向神经网络,使得神经元的解释变得更加合理,作 区间,上的权函数,则称/,
为神经网络构成要素的激励函数、网络结构和学习 算法也随之发生改变。张雨浓教授在函数逼近论研 伽菇八戈戈以为八戈与戈在血,上
究基础上对算法做了有意义的改进,提出了隐 以伽咒为权函数的内积,川:厂??为函数 层神经元最优权值直接确定算法,有效克服了最优 /的一范数。设咖。,咖:,?,咖。? :口,,其中 权值难以确定的问题,也避免了网络过拟合和泛化
:,厂 ,:?,若咖。,咖:,?,咖。是
问题?‘。插值方法作为函数逼近的简单实用工
:,上的线性无关函数,则称中是由咖。,咖:, 具在众多领域发挥了重要作用,对于如何有效利用 ?,咖。张成的子空间,记作中币。,咖:,?, 蕴含重要信息的采样数据集,使其还原并丰富有限 采样数据所代表的真实系统日渐成为有趣的研究课 咖。。任取?咖,则有戈?口咖戈。设厂
题。本文将使用模糊系统的三角型隶属函数和隐层 ?口,,若存在?中,使得,一:
神经元输出的乘积作为模糊前向神经网络的激励函 :,则称为,在函上的最佳平方逼
旦,一
数,依据采样数据集所含数据对个数确定隐层神经 元个数,简化最优网络结构的确定过程,然后利用 近函数。 权值直接确定算法确定相应的最优权值,建立近似 定理 求解定义中的?多,
等价于
插值模糊前向神经网络,最后结合数值仿真实例突 求解多元函数 上 , 、
出所构建网络的有效性和实时性。
%%?,口。,埘戈?口咖。戈一八以
口
:一
模糊前向神经网络结构
的极小值点口,口,?,口:,由于咖。,币:,?,咖。
为明确起见,下面对一些基本术语和记号加以
是口,上的线性无关函数,则极小值点存在
约定和标记。 且唯一。
设在二维空间,经传感器采样获得 在前向神经网络基础上,选择盯为三角型 组采样数据,分别为戈。,。,戈:,:,?,菇。, 隶属函数与构造数据的组合,
充分体现相应神经元
,。,亦即插值样本,同时将这组采样数据作为 的激活程度,假设,,:,?,。,, 网络的训练数据。依据采样数据的重要性对组
?,’,晚江,,?,凡,以简化计算,
采样数据进行遴选获得凡组较为重要的具有代表性
使用构造数据中的每组数据作为母体构造隐层神经
的数据,记作戈’。,,。,戈:,’:,?,戈’。,
元,组成隐层含个神经元的单输入单输出模糊前
’。,称为构造数据,作为生成隐层神经元的母 向神经网络
体,故凡?,在网络建立过程中所采用的构造数 八戈?埘盯?埘舭菇
据集就是训练数据集插值样本集的子集。现 单输人单输出系统的模糊前向神经网络的结构见 在构造与采样数据维数相符的包含单一隐层的单输 图。现对式中三角型隶属函数加以说明,由 入单输出前向神经网络
万方数据第期
杨文光:权值直接确定的三角型模糊前向神经网络 构造数据提取出第一维数据得到戈’。,戈’:,?, 依据张雨浓教授所提出的
前向神经网络权值直
石。,提取第二维数据得到’。,,’:,?, 接确定算法??,对于单输入单输出模糊前向神 。,在模糊系统的构造中,通常以戈。,戈,’?, 经网络,由误差反向传播学习算法亦可得如下定 ’。为峰点构造全交叠三角型模糊集,其图形见图。 理。 定理模糊前向神经网络在训练数据戈., ,,髫:,,:,?,戈。,,。作用下,得输入受激 励矩阵?“,设戈,戈,?,。‘’?“,卢
,,儿,?,‰?“,令’.,表示模糊前向神经 网络的最优权值向量,则有
矿。咖
其中,代人口得
盯】 盯 盯。戈
盯戈 盯 盯。戈. ??。怒器黧鬻。。 盯戈。 盯。 盯。戈。
卢石 弘石 。石 ’
肛 弘戈 肛。戈: ’
?
:
肛戈。 心戈。 。戈。 ’。
矿。矿是输入受激励矩阵的广义逆矩阵 图三角型隶属函数
伪逆,在软件中可直接调用函数
昏求解。
证明 由矩阵论知识可知,对于矩阵方程组 使用编程易于实现的表示法对图所示三角型 ?口,只有是列满秩时,最小二乘解才是唯一 模糊集描述为:
的,且为扩一矿,否则便有无穷多最小二乘 当’。?戈?石?时,模糊集。和地,的隶属度 解。
设.,五是神经网络第后次迭代时的权值向 分另为肛。戈戈’。。一戈/’。一戈;,。戈
戈一戈’。/’川一戈’。;相应神经元激励函数为 量,则,.,七’.,。定义神
经网络的批处
盯戈肌’。,矿川戈肛川’川就表示对应 理误差函数
.
神经元输出的激活程度大小,,?,一。 ‖
寺?。一?懈戈
显然,肛。戈,肛:戈,?,。? :’,,戈’。, 由算法负梯度思想可知
贝仃,戈,矿:,?,盯。戈? :戈’。,戈’。,且线 ..,矗.一叼‖。,后一卢
性无关,故由定理可知存在模糊前向神经网络 对式两边取极限,即为所求,其中学习率叼 厂石可以最佳平方逼近插值样本集所代表的系统。 取。证毕。
权值直接确定算法
定理模糊前向神经网络是近似插值
神经网络。
采样数据蕴含着未知系统内部的函数关系,前 证明 对于采样数据即训练数据戈。,,。, 面使用构造数据所建立的单输入单输出的模糊前向
戈:,,?,戈。,,。和构造数据戈’,,’。, 神经网络,还需要进一步使用训练数据进行训练, 戈’:,’:,?,名。,’。而言,构造数据用于构 使其达到更高的逼近精度。
造隐层神经元隶属函数确定网络结构,而训练数据 定义 设实矩阵?““,如果?一”,
则用于训练网络,在权值直接确定算法作用下得到 满足阳,唧, ?,
网络的最优权值向量训。
,则称为的.广义逆矩阵或
对于任意输入戈,当戈戈时,江,,?, 伪逆。
万方数据第卷
中山大学学报自然科学版
前向神经网络的基础上,选用张雨浓教授在文献 ,将式展开为矩阵形式得
中所使用的个目标函数,在
八戈?嘴戈’』
..中进行数值仿真实验,以加强对
』
肛戈,
比说明的效果。在工程实践中,测量误差是无法消
除的,当逼近精度达到一定的有效位数后,实时性 肛,’
的
要求
对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗
变的更为重要。所选用的个目标函数依次 崔,
为:咖戈。“‘ .不戈,咖菇
。戈’。
戈/。
戈。
西 戈/菇,咖戈
第一种情况:若?,则存在唯一的非零 首先提取训练数据和构造数据,选择一, 模糊集,使得“,由此可得八石
.为训练区间,按照前面隐层神经元建立方 埘’,此时’儿;
法,以,. 为采样步长,得组训练数 第二种情况:若戈隹,则有且只有两个非零 据,即;假设按照重要性对训练数据进行 模糊集心和心,使得菇,肛『算,
等间隔提取构造数据,提取步长:. ,即 且肛菇肛?戈,简化式得八
,亦即隐层神经元个数,在此选择的步长遵循 加社,’埘,十肛『戈’川,,,?,,:
前面的要求,即,?:,?。模糊前向神经网 ,,?,一。
络的逼近精度随构造数据的增多而提高,直到选择 无论是哪种情况,均由定理的推导可知最优 的隐层神经元个数为止,达到最好的逼近效 权值向量埘是在保证最佳平方逼近下得到的,故 果,具体仿真结果见图中的一。模糊
八戈一儿,模糊前向神经网络是近似插值神 前向神经网络的逼近效果取决于采样数据的多少, 经网络,,,?,,,,,?,几一。
证毕。 采样数据越多,构造数据的选择亦可增多,在表 中,将会给出具体的参数指标,如网络运行时间, 数值仿真实例
均方差,以及改变构造数据步长:发生的相应改 变。’
本节将在基于采样数据和构造数据构建的模糊 图模糊前向神经网络的逼近
. ,印【帆
咖石,.,.;也,.,.吃;如并,矗。.,..吆;机,。.,.吃 万方数据
第期 杨文光:权值直接确定的三角型模糊前向神经网络 从图和表,不难发现,各个目标函数的运 标函数和,给出真实模型,选择。:.
行时间均减少到参考文献的%左右,在隐 ,得到模糊前向神经网络模型,然后使用
层神经元个数为采样数据个数一半的情况下就已经 函数在区间一,.上随机生成个数
达到了很高的逼近精度,当选用全部采样数据用于 作为输入送人到模糊前向神经网络模型中,得到
构造隐层神经元时,则达到了 次的数量等级 预测输出,见图中的。表给出了
的逼近精度,误差基本可以忽略不计。下面进一步 与图相应的运行时间、预测数据的均方差等性能
说明本文所构建的网络具有较好的预测性能。同 指标参数,表明预测精度很高。
样,选择区间一,.为预测区间,选择目
图模糊前向神经网络的预测附.
咖。算,.,.;咖戈,.,:.
表模糊前向神经网络预测结果
? ? 【’并且利用权值直接确定算法直接确定了最优权值,
结论
缩短了网络运行时间,相应的网络运行时间都在毫
秒级。计算机数值仿真实验表明,基于三角型隶属
本文避开了前向神经网络建立时所遵循的复杂
函数建立的模糊前向神经网络是一种具有较高逼近
的网络结构和学习算法的迭代学习过程,得到了基
精度和预测精度的实时性神经网络,在工程实践中 于采样数据建立的模糊前向神经网络,该网络为实 将会具有很好的借鉴意义。
时还原真实系统提供了有效解决方法。该网络能够 下转第页
根据采样数据的多少实现隐层神经元的自主设定, 万方数据
第卷
中山大学学报自然科学版,,:? 几何多项式零点的渐近分布.中山大学学报:
自
.
.
然科学版,,:?. :
. .
, .
. , ,.
,:?. ,
. :
,. ,,
.
:?., . .
. ,
:一. 。, ,., , .两类高斯超
上接第页
参考娥
?蓊萋嚣蓊聂雾嚣黧肭龇?自
李士勇.模糊控制?神经网络和智能控制论.哈 徐士英,曹飞龙.距离空间中
插值神经网络的误差估
尔滨:哈尔滨工业大学出版社,.
计.系统科学与数学,,:?.
张雨浓,张禹珩,陈轲,等.线性矩阵方程的梯度法神 徐士英,曹飞龙.多元插
值神经网络的一个注记.
经网络求解及其仿真验证.中山大学学报:自然科 高校应用数学学报,,:?. 学版,,:?. 张雨浓,谭宁,李展,等.求解线性不定方程组所展现 陈北京,孙星明,王定成,等.基于彩色图像四元数表 的与叩类型神经网络的
学习同质性研究
示的彩色人脸识别.自动化学报,,:
.中山大学学报:自然科学版,,:?.
?.
张雨浓,李凌峰,郭东生,等.珊插值神经网络
张文辉,叶晓平.参数突变自由漂浮空间机器人神经
权值和结构确定理论探讨.计算机应用研究,
集成控制.中国科学:信息科学,,: ,:?.
?.
张雨浓,郭东生,谭宁.幂激励前向神经网络最优结 曹飞龙,徐宗本.神经网络的本质逼近阶.中国科 构确定算法.计算机工程与
应用,,:
?.
学:辑,,:?.
曹飞龙,张永全,张卫国.单隐层神经网络与最佳多项 肖秀春,张雨浓,姜孝
华.多元广义多项式神经
式逼近.数学学报:中文版,,:一
网络及其权值直接求解.中山大学学报:自然科 .
学版,,:?.
, 一
.印 薛毅.数值分析与科学计算.北京:科学出版社,. .,
。:?.
万方数据