下载
加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 第12章神经网络设计_Ch12_神经网络敏感性研究及其应用

第12章神经网络设计_Ch12_神经网络敏感性研究及其应用.pdf

第12章神经网络设计_Ch12_神经网络敏感性研究及其应用

陶胡子
2012-11-17 0人阅读 举报 0 0 暂无简介

简介:本文档为《第12章神经网络设计_Ch12_神经网络敏感性研究及其应用pdf》,可适用于高等教育领域

神经网络敏感性研究及其应用泛化能力•泛化能力(generalizationability)是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律对具有同一规律的学习集以外的数据经过训练的网络也能给出合适的输出该能力称为泛化能力。•敏感性研究–分析网络输出因参数波动的变化趋势–量化网络输出因参数波动的变化程度•敏感性应用–完善网络设计和训练的方法–解决模式识别的有关问题•研究展望–打造更加精确和实用的敏感性尺度–推广敏感性的应用概要敏感性研究•研究背景–人工神经网的工作原理通过学习在输入和输出之间建立隐式的函数依赖关系用来实现记忆、联想、分类、聚类、逼近、优化等功能。),,(AWXfYXNNY敏感性研究•研究背景(续)–有监督的性能学习机制对于来自一个未知函数的样本数据:通过调整网络的权参数使其满足:来实现逼近。)}(|),(),,,(),,{(iiNNXFddXdXdX)(XFf)(XF)))(),(((NiiiWXFWXfNMin)(Xf敏感性研究•研究背景(续)–无监督的竞争学习机制对于样本数据:用如下规则调整权网络的权参数直至稳定))()(()()(qWXXfqWqWqq},,,{NXXXf•研究提出–问题•环境噪音将引起神经网络输入的异常波动•硬件精度将导致神经网络权值的截断误差–动机•参数的扰动对网络输出会产生怎样影响?•如何量化对网络输出产生的影响来衡量网络容错和泛化性能?敏感性研究•研究内容–探索网络输出对网络参数(输入、权和结构)扰动的敏感性–网络输出敏感性的定性分析和定量计算敏感性研究),,(AWXfYXXNNYY)),,(),,((AWXfAAWWXXfY•研究意义–相对尺度度量网络容错和泛化性能•容错尺度(视为破坏性干扰):•泛化尺度(视为输入增量):敏感性研究NiiiXXfXXfEN))()(((||))()((|XFXfEGErrX|)))()(())()((XXFXFXFXfiiii|)))()((|(XXFXXfEEiiXXi|)),(),((|WXfWWXXfEErrXWX,X•研究意义(续)–通用尺度解决模式识别和机器学习等方面问题•降维:度量输入属性相关性•主动学习:度量输入样本代表性•自适应学习:度量权可塑性•网络结构裁减:度量神经元重要性•集成学习:度量网络输出多样性(差异性)敏感性研究•研究现状–Madaline敏感性•几何模型(超球面)–MStevenson,RWinterBWidrow,“SensitivityofFeedforwardNeuralNetworkstoWeightErrors,”IEEETransonNeuralNetworks,():–,•统计模型(方差)–SWPiché,“TheSelectionofWeightAccuraciesforMadalines,”IEEETransonNeuralNetworks,():–,敏感性研究•研究现状(续)–Madaline敏感性(我们的工作)•几何模型(超立方顶点)–XZeng,YWang,etal,“ComputationofAdalines’SensitivitytoWeightPerturbation”,IEEETransonNeuralNetworks,():,•概率模型–YWang,XZeng,etal,“ComputationofMadalines’SensitivitytoInputandWeightPerturbations”,NeuralComputation,():,–SZhong,Xzeng,etal,“ApproximateComputationofMadalineSensitivityBasedonDiscreteStochasticTechnique”,ScienceinChina(F),():–,敏感性研究•研究现状(续)–MLP的敏感性•分析方法(偏微分)–SHashem,“SensitivityAnalysisforFeedforwardArtificialNeuralNetworkswithDifferentiableActivationFunctions,”ProcIJCNN,–,•统计方法(标准差)–JYChoiCHChoi,“SensitivityAnalysisofMultilayerPerceptronwithDifferentiableActivationFunctions,”IEEETransonNeuralNetworks,():–,敏感性研究•研究现状(续)–MLP的敏感性(续)•统计方法(方差和均值)–DYeungXSun,“UsingfunctionapproximationtoanalyzethesensitivityofMLPwithantisymmetricsquashingactivationfunction,”IEEETransonNeuralNetworks,():,–SYang,CHoSSiu,“ComputingandAnalyzingtheSensitivityofMLPDuetotheErrorsoftheiidInputsandWeightsBasedonCLT,”IEEETransonNeuralNetworks,online,敏感性研究•研究现状(续)–MLP的敏感性(我们的工作)•统计方法(均值)–XZengDYeung,“SensitivityanalysisofmultilayerPerceptrontoinputandweightperturbations,”IEEETransonNeuralNetworks,():,•统计几何方法(均值超立方体)–XZengDYeung,“AQuantifiedSensitivityMeasureforMultilayerPerceptrontoInputPerturbation,”NeuralComputation,():,敏感性研究•研究现状(续)–RBF的敏感性•统计方法(方差)–WNg,DYeung,etal,“StatisticalOutputSensitivitytoInputandWeightPerturbationsofRBFneuralnetworks,”ProcIEEEICSMC,–,•统计方法(均值)(我们的工作)–XCheng,XZeng,etal,“AQuantifiedSensitivityMeasureofRadialBasisFunctionNeuralNetworkstoInputVariation”,ProcIEEEIJCNN,,敏感性研究•研究思路–自底向上:首先是单个神经元的敏感性然后是一层的敏感性最后是整个网络的敏感性。也就是从第一层开始逐层计算层上每个神经元的敏感性前一层的神经元敏感性作为下一层神经元的输入扰动输出层的敏感性就是网络的敏感性。–自后向前:仅仅考虑输出层上每个神经元的敏感性即将这些神经的输出作为网络输入或各隐层权值的复合函数来自后向前处理。敏感性研究•敏感性定义–网络输出对某个参数(输入或权)的导数或–网络因参数扰动导致输出变化的概率–网络因参数扰动导致输出变化的均值–网络因参数扰动导致输出变化的方差敏感性研究|)),(),((|WXfWWXXfEs)),(),((WXfWWXXfPs)),(),((WXfWWXXfDsXWXfs),(WWXfs),(•敏感性定义的多样性及其应用背景敏感性研究ParameterdeviationStatisticalvariableSensitivityfunctionApplicablesituation,Sensitivitytoagiveninputdeviationforuntrainednetworksonoverallinputpatterns,,Sensitivitytogiveninputandweightdeviationsforuntrainednetworksonoverallinputpatterns,SensitivitytogiveninputandweightdeviationsforuntrainednetworksonagiveninputpatternSensitivitytoagiveninputdeviationfortrainednetworksonoverallinputpatternsSensitivitytoagiveninputdeviationfortrainednetworksonagiveninputXXW)(XSXWXW),(WXSXWW),,(WXXSXX),(WXSX),,(WXXSXX),(WXSXXX)(WS)(XS•敏感性计算–敏感性研究ParameterdeviationStatisticalvariableSensitivityfunctionApplicablesituation,Sensitivitytoagiveninputdeviationforuntrainednetworksonoverallinputpatterns,,Sensitivitytogiveninputandweightdeviationsforuntrainednetworksonoverallinputpatterns,SensitivitytogiveninputandweightdeviationsforuntrainednetworksonagiveninputpatternSensitivitytoagiveninputdeviationfortrainednetworksonoverallinputpatternsSensitivitytoagiveninputdeviationfortrainednetworksonagiveninputpatternSensitivitytooverallinputdeviationsfortrainednetworksonagiveninputpattern,SensitivitytooverallinputdeviationsfortrainednetworksonoverallinputpatternsXXW)(XSXWXW),(WXSXWW),,(WXXSXX),(WXSX),,(WXXSXX),(WXSXXX)(WS•分析及实验验证–敏感性研究•网络自适应参数(权、神经元)选择–WWYNgandDSYeung,“Selectionofweightquantisationaccuracyforradialbasisfunctionneuralnetworkusingstochasticsensitivitymeasure”,ElectronicLetters,pp,敏感性应用•网络结构(属性、结点)裁减–敏感性应用•训练样本挑选(主动学习)–网络差异性度量(集成学习)–环境噪音将引起网络输入的异常波动–硬件精度将导致网络权值的截断误差敏感性应用•网络差异性度量(集成学习)–敏感性应用•网络自适应参数(权、神经元)选择–网络自适应参数(权、神经元)选择–网络结构(属性、结点)裁减–训练样本挑选(主动学习)–网络差异性度量(集成学习)–环境噪音将引起网络输入的异常波动–硬件精度将导致网络权值的截断误差敏感性应用思考题从结构、学习、功能和性能等方面对含单隐层MLP网络、RBF网络和SVM网络进行详细比较并结合自己的研究领域讨论它们的应用前景。

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/27

第12章神经网络设计_Ch12_神经网络敏感性研究及其应用

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利