基于局部泛化误差界的RBF网络训练方法研究报告人刘晓艳

基于局部泛化误差界的RBF网络训练方法研究报告人刘晓艳 基于局部泛化误差界的RBF网络训练方法研究报告人刘 晓艳 基于局部泛化误差界的RBF网络训练方法研究 报告人刘晓艳 主要内容 课题来源及背景和意义 研究现状及 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 所做的工作 遇到的问题及进一步的工作 参考文献 课题来源及背景和意义 RBF神经网络的结构选择中即隐含层神经元个数的确定问题一直是难点合理的选择其结构会提高RBF神经网络的泛化能力 局部泛化误差模型考虑分类器在输入空间局部区域上的泛化能力对于量化的考察对于网络的容错能力error-tolerance和泛化能力 generalization ability 有一定启发意义 神经网络的敏感性标示着这种分类器的variance特性而经验误差的大小则是标示着分类器的bias特性将两者有机的结合起来作为一种评价分类器泛化能力的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 可能会有很好的效 果criteria 研究现状及分析 介绍局部泛化误差模型现状 敏感性SM sensitivity measure 敏感性定义及其计算 定义衡量网络输出对于输入或权重或其他的参数的扰动而改变程度的定量度量 敏感性的应用 正是由于敏感性考察网络各参数的变化对于网络输出的影响程度因而基于敏感性分析来优化或调整各参数的选择即成为它的主要应用方向 研究现状及分析 现存的局部泛化误差模型理论 研究现状及分析 现存的局部泛化误差模型用于RBFNN的结构选择 研究现状及分析 所做的工作 将经验误差项和敏感性项的加和做为一种新的评价分类器泛化能力的标准QNB,Q neighborhood balance考察其合理性 将QNB用于RBFNN的结构选择 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 网络结构 用范数形式简化现有的局部泛化误差模型 的分析 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达式得到一种基于范数的局部泛化误差界的分析式 QNB作为一个衡 量分类器评价标准的合理性 QNB作为一个衡量分类器评价标准的合理性 QNB作 为一个衡量分类器评价标准的合理性 实验 QNB作为一个衡量分类器评价标准 的合理性 实验 QNB用于RBFNN的结构选择 architecture selection 初步实 验情况 初步实验情况 初步实验情况 遇到的问题及进一步的工作 实验结果显 示了算法的可行性在保证分类精度的前提下最后选择的隐含层个数比较少网络 结构比较精简 SM sensitivity measure 与RBFNN的隐含单元个数之间的关系描 述为小振荡爬升非严格单调这样SM作为网络复杂程度的度量的话是比较粗的估 计QNB作为measure for classifier generalization capability的理论依据 目 前QNB中的两项采用的线性组合的方式能否考虑用其他方式将这两参数信息融 合后作为一个新的参量标准用RBFNN的architecture selection如何 QNB能否 用于对于RBFNN中心位置的选择Supervised learning 参考文献 [1]D Shi DS Yeung J Gao Sensitivity analysis applied to the construction of radial basis function networksNeural Networks 18 2005 951–957 [2] Wing com Daniel SYeung Ian Cloete Quantitative Study on Effect of Center Selection to RBFNN Classification Performance 2004 IEEE International Conference on Systems Man and Cybernetics [3] Wing WY NG Daniel S YEUNG Xi-Zhao Wang Localized Generalization Error and Its Application to RBFNN Training Proceedings of the Fourth International Conference on Machine Learning and Cybernetics Guangzhou 18-21 August 2005 [4] Friedhelm Schwenker Hans A Kestler Gunther PalmThree learning phases for radial-basis-function networks Neural Networks 14 2001 439-458 [5]Wing WY NG Daniel S YEUNG Xi-Zhao Wang and I Cloete A Study of the Difference Between Partial Derivative and Stochastic Neural Network Sensitivity Analysis for Applications in Supervised Pattern Classification Problems Proc Of International Conference on Machine Learning and Cybernetics pp 4283 - 4288 2004 [6]Wing WY NG and Daniel S YEUNG Selection of Weight Quantization Accuracy for Radial Basis Function Neural Network Using Stochastic Sensitivity Measure IEE Electronic Letters vol 39 pp 787 – 789 敏 感性定义及其计算 敏感性用途 Constructive for neural network Center selection Featuresampleweight accuracy selection 对象上 Sensitivity to input perturbation Sensitivity to weight perturbation Sensitivity to neuron perturbation 计算方式上 Partial derivative sensitivity analysis stochastic sensitivity analysis 要求激活函数对于输入是可微的并且输入 扰动必须很小 考察输出变化的期望或方差概率特性 wing 敏感性用于 feature selection Active Learning Using Localized Generalization Error of Candidate Sample as Criterion,,Patrick P K ChanWing W Y NgDaniel S Yeung 敏感性用于sample selectionActive learning 1 Sensitivity analysis applied to the construction of radial basis function networks,,,D Shia DS Yeung J Gao 2 LOCALIZED GENERALIZATION ERROR AND ITS APPLICATION TO RBFNN TRAINING,,, WING WY NG DANIEL S YEUNG DE-FENG WANG ERIC C C TSANG XI-ZHAO WANG 3Hidden neuron pruning multilayer perceptrons using a sensitivity measure,,Daniel s yeungxiao,qin zeng 敏感性引用于RBF神经网络的中心选择结构选择 differences between the imum and minimum values of the target output 分类问题中目标输出的最大最小值 之差至少为1那么将该模型用于结构选择时就会出现问题 思想两个分类器f1f2 如果存在Q1使得 f2 has a better Generalization capability RSM Q1,a for f1 RSM Q2,afor f2 Q1 Q2 在相同误差界标准下设计分类器使得它覆 盖的Q邻域比较大认为覆盖的邻域面积越大得到的分类器的泛化能力越好 分析 界的阈值a的取值标准难以确定现存的方法建议a取025这样在解上述二次方程 时就会出现问题 分类问题中取值大于1 025 1 由于在解方程时存在矛盾之处造 成该模型用于RBFNN结构设计时存在问题 2 有关界的表达式存在常数A其值是 否相对过大的问题相对于前两项如果取值过大的话其失去意义 3 单纯的将经验 误差作为训练RBF分类器的标准的话存在过拟和 以及得到的分类器的泛化能力 不高的缺点 QNB作为一个衡量分类器评价标准的合理性 measure for classifier complexity 图示1simple classifier Low SMbut bad training error 图示2complex classifier high SMbut bad generalization capability and maybe overfitting VC维较大 图示3good fit classifier what we expected Good balance between Training error SM Sensitivity measure 衡 量RBFNN复杂程度 Iris dataset Ionosphere dataset Hidden numberK Algorithm Step 1 Start with the number of the hidden neurons by 1 Step 2 Perform k-means clustering to find the location of centers for the hidden numbers Step 3 Select the width of each neuron to be half of the imum distance between the center itself and other neurons Step 4 Using pseudo-inverse method to obtain the weight Step 5 For a selected Q value compute the current neural networks error bound by the following equation Step 6 Find the minimum error bound and output the corresponding hidden neurons number 09400 average 09333 09556 09111 09333 09778 09333 1 08667 09556 09333 Test accuracy 09638 average 09714 09810 09619 09714 09619 09524 09714 09238 09810 09619 Train accuracy 87 average 9 7 7 9 10 7 8 8 13 9 Hidden number Iris Q 01 information4 ×150 3 classes Pima Q 01 information8×768 2 classes 07628 average 07619 07749 07489 07359 07792 07662 07489 07662 07706 07749 Test accuracy 07946 average 07952 08007 08007 08082 07952 07877 07803 07914 07877 07989 Train accuracy 204 average 21 18 26 22 22 17 18 15 22 23 Hidden number 09593 average 09630 09815 09630 09444 09815 09815 09074 1 09444 09259 Test accuracy 09742 average 09758 09758 09597 09758 09597 09839 09839 09758 09919 09597 Train accuracy 78000 average 8 8 7 9 7 9 7 8 8 7 Hidden number Wine Q 15 information13×178 3 classes 09283average 09340 09434 09057 09245 09245 09151 09340 09528 09245 09245 Test accuracy 09339average 09224 09347 09510 09429 09347 09469 09143 09347 09388 09184 Train accuracy 167average 16 16 18 14 18 19 15 16 18 17 Hidden number Ionosphere Q 10 information34 ×351 2 classes 09722 09760 16 09646average 09514 09444 09514 09722 09722 09792 09583 09722 09722 Test accuracy 09751average 09790 09820 09790 09700 09730 09700 09790 09730 09700 Train accuracy 169average 15 17 14 17 18 16 21 18 17 Hidden number Datazhao Q 05 information25×477 5 classes