首页 Keras和深度学习的周期性学习率的应用研究

Keras和深度学习的周期性学习率的应用研究

举报
开通vip

Keras和深度学习的周期性学习率的应用研究Keras和深度学习的周期性学习率的应用研究作者:谢安来源:《科学与信息化》2019年第29期摘要學习率是深度神经网络中很重要的一个超参数,指代神经网络训练时在梯度下降时参数更新的步长,选取合适的学习率十分重要,太小了会减慢收敛,太大则会在最优点旁边左右摆动,而CyclicalLearningRates(CLR)是一种自适应学习率的方法,它可以和上述的优化器结合,本文使用的Keras是一个高层神经网络API让学习率在一个范围内周期性地变化,从而加速收敛并提升模型性能。关键词周期性学习率;Keras;高层神经网络AP...

Keras和深度学习的周期性学习率的应用研究
Keras和深度学习的周期性学习率的应用研究作者:谢安来源:《科学与信息化》2019年第29期摘要學习率是深度神经网络中很重要的一个超参数,指代神经网络训练时在梯度下降时参数更新的步长,选取合适的学习率十分重要,太小了会减慢收敛,太大则会在最优点旁边左右摆动,而CyclicalLearningRates(CLR)是一种自适应学习率的方法,它可以和上述的优化器结合,本文使用的Keras是一个高层神经网络API让学习率在一个范围内周期性地变化,从而加速收敛并提升模型性能。关键词周期性学习率;Keras;高层神经网络API前言本文通过Keras实现CLR并在CIFAR-10数据集上训练样本,定义学习率时间表,在每一个历元之后单调地降低实验的学习率。随着时间的推移,通过降低学习率,可以让实验模型下降到损失较低的区域。本文的Keras的深度学习周期学习率实验使用“三角”和“三角2”策略,分析了在使用周期性学习率进行实验时,策略的选择问题[1]。1周期性学习的研究在实践中,存在着学习率单调下降的一些问题:首先,模型和优化器仍然对学习率的初始选择敏感;第二,初始学习率如何确定;最后,不能保证模型在降低学习率时会下降到低损失的区域。本文定义了学习率下限为基数,上限为-MAX_LR训练时,允许学习率在这两个界限之间来回摆动,在每次批量更新后缓慢增加和降低学习率。“三角”周期性学习率策略是一个简单的三角周期。学习率从基础值开始,然后开始增加。循环的中途达到最大值。一旦达到最大学习率,就将学习率降低到基值。同样,需要半个周期才能恢复到基本学习率。整个过程重复(即周期性的)直到训练结束[2]。“三角2”策略类似于标准的“三角”策略,但在每个周期之后,最大学习率限制会减少一半。此外,随着时间的推移降低最大学习率有助于稳定神经网络的训练。“三角”策略的后期可能在损失和准确性方面都会出现大幅跳变,“三角2”策略将有助于稳定这些跳变。2实验方法首先,样本选择为CIFAR-10数据集,程序中定义以下图片分类:CLASSES=[“airplane”,“automobile”,“bird”,“cat”,“deer”,“dog”,”frog”,“horse”,“ship”,“truck”]其次,定义周期性学习率参数:MIN_LR=1e-7;MAX_LR=1e-2;BATCH_SIZE=64;STEP_SIZE=8;CLR_METHOD=“triangular”;NUM_EPOCHS=96。CLR周期数:NUM_CLR_CYCLES=NUM_EPOCHS/步长/2。最后,定义输出路径/文件名:TRAINING_PLOT_PATH=os.path.sep.join([“output”,“training_plot.png”])CLR_PLOT_PATH=os.path.sep.join([“output”,“clr_plot.png”])每个策略都会绘制一个训练历史准确性/损失图以及一个循环学习率图[3]。3实验结果及分析周期性学习率准确度,“三角”92%,“三角2”90%。“三角”周期学习率策略虽然获得了稍好的精度,但也表现出了很大的波动性,存在较大的过度拟合风险。相比之下,“三角形2”策略虽然不太准确,但在训练方面更为稳定。当用周期性学习率进行实验时,测试两种策略,并选择一种平衡准确性和稳定性的策略(即,稳定的训练,减少过度适应的风险)[4]。参考文献[1]MoriK,MasudaI.AdvancesinrecognitionofChinesecharacters[C].ProceedingsoftheFifthInternationalConferenceonPatternRecognition.Miami:IEEEComputerSocietyPress,1980:692-702.[2]丁晓青.汉字识别研究的回顾[J].电子学报,2002,30(9):1364-1368.[3]DingXQ.Chinesecharacterrecognition:areview[J].JournalofActaElectronicaSinica,2002,30(9):1364-1368.[4]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[J].NeuralInformationProcessingSystems,2012,25(2):1097-1105
本文档为【Keras和深度学习的周期性学习率的应用研究】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
is_751406
暂无简介~
格式:doc
大小:15KB
软件:Word
页数:5
分类:
上传时间:2022-08-01
浏览量:1