深度学习概述

=====WORD完整版----可编写----专业资料分享=====深度学习是机器学习研究中的一个新的领域，其动机在于成立、模拟人脑进行分析学习的神经网络，它模拟人脑的体制来解释数据，比如图像，声音和文本。同机器学习方法同样，深度机器学习方法也有监察学习与无监察学习之分．不同的学习框架下成立的学习模型特别不同．比如，卷积神经网络（Convolutionalneuralnetworks，简称CNNs）就是一种深度的监察学习下的机器学习模型，而深度置信网（DeepBeliefNets，简称DBNs）就是一种无监察学习下的机器学习模型。 目录 工贸企业有限空间作业目录特种设备作业人员作业种类与目录特种设备作业人员目录1类医疗器械目录高值医用耗材参考目录 1简介2基础观点?深度?解决问题核心思想例题转折点成功应用简介深度学习的观点源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习构造。深度学习经过组合低层特点形成更为抽象的高层 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示属性类型或特点，以发现数据的散布式特点表示。[2]深度学习的观点由Hinton等人于2006年提出。鉴于深信度网(DBN)提出非监察贪心逐层训练算法，为解决深层构造有关的优化难题带来希望，随后提出多层自动编码器深层构造。其他Lecun等人提出的卷积神经网络是第一个真实多层构造学习算法，[2]它利用空间相对关系减少参数数目以提高训练性能。基础观点深度：从一个输入中产生一个输出所波及的计算能够经过一个流向图(flowgraph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算深度学习的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算会合，它能够被允许在每一个节点和可能的图构造中，并定义了一个函数族。输入节点没有孩子，输出节点没有父亲。这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。传统的前馈神经网络能够被看做拥有等于层数的深度(比方对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或许特点空间，另一个对应于所产生输出的线性混淆)。[3]----完整版学习资料分享----=====WORD完整版----可编写----专业资料分享=====解决问题：需要使用深度学习解决的问题有以下的特点：深度不足会出现问题。人脑拥有一个深度构造。认知过程逐层进行，逐步抽象。深度不足会出现问题在很多情形中深度2就足够表示任何一个带有给定目标精度的函数。可是其代价是：图中所需要的节点数(比方计算和参数数量)可能变的特别大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。我们能够将深度架构看做一种因子分解。大多数随机选择的函数不能被有效地表示，不论是用深的或许浅的架构。可是很多能够有效地被深度架构表示的却不能被用浅的架构高效表示。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种构造。如果不存在任何构造，那将不可能很好地泛化。大脑有一个深度架构比如，视觉皮质获得了很好的研究，并显示出一系列的地区，在每一个这种地区中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关系，因此更复杂)。这个特点层次的每一层表示在一个不同的抽象层上的输入，并在层次的更上层有着更多的抽象特点，他们根据低层特点定义。需要注意的是大脑中的表示是在中间紧密散布并且纯局部：他们是稀疏的：1%的神经元是同时活动的。给定大量的神经元，仍旧有一个特别高效地(指数级高效)表示。认知过程逐层进行，逐步抽象人类层次化地组织思想和观点；人类首先学习简单的观点，然后用他们去表示更抽象的； 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 师将任务分解成多个抽象层次去办理；学习/发现这些观点(知识工程由于没有 反思 小班合家欢主题反思小班合家欢主题审议反思小班合家欢反思恩怨历尽后的反思下载恩怨历尽后的反思下载 而失败？)是很美好的。对语言可表达的观点的反思也建议我们一个稀疏的表示：仅所有可能单词/观点中的一个小的部分是可被应用到一个特其他输入(一个视觉场景)。核心思想----完整版学习资料分享----=====WORD完整版----可编写----专业资料分享=====深度学习的核心思想把学习构造看作一个网络，则深度学习的核心思路如下：①无监察学习用于每一层网络的pre-train；②每次用无监察学习只训练一层，将其训练结果作为其高一层的输入；③用自顶而下的监察算法去调整所有层例题a).AutoEncoder最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是拥有层次构造的系统，如果给定一个神经网络，我们假定其输出与输入是相同的，然后训练调整其参数，获得每一层中的权重，自然地，我们就获得了输入I的几种不同表示（每一层代表一种表示），这些表示就是特点，在研究中能够发现，如果在原有的特点中加入这些自动学习获得的特点能够大大提高精准度，甚至在分类问题中比目前最好的分类算法效果还要好！这种方法称为AutoEncoder。自然，我们还能够持续加上一些拘束条件获得新的DeepLearning方法，如如果在AutoEncoder的基础上加上L1的Regularity限制（L1主假如拘束每一层中的节点中大多数都要为0，只有少数不为0，这就是Sparse名字的根源），我们就能够获得SparseAutoEncoder方法。b).SparseCoding如果我们把输出必须和输入相等的限制放松，同时利用线性代数中基的观点，即O=w1*B1+W2*B2+....+Wn*Bn，Bi是基，Wi是系数，我们能够获得这样一个优化问题：Min|I-O|经过求解这个最优化式子，我们能够求得系数Wi和基Bi，这些系数和基础就是输入的此外一种近似表达，因此，能够用它们来特点表达输入I，这个过程也是自动学习获得的。如果我们在上述式子上加上L1的Regularity限制，获得：Min|I-O|+u*(|W1|+|W2|+...+|Wn|)这种方法被称为SparseCoding。c)RestrictBoltzmannMachine(RBM)假定有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假定所有的节点都是二值变量节点（只能取0或许1值），同时假定全概率散布p(v,h)知足Boltzmann散布，我们称这个模型是RestrictBoltzmannMachine(RBM)。下面我们来看看为什么它是DeepLearning方法。首先，这个模型因为是二部图，所以在已知v的情况下，所有的隐藏节点之间是条件独立的，即p(h|v)=p(h1|v).....p(hn|v)。同理，在已知隐藏层h的情况下，所有的可视节点都是条件独立的，同时又由于所有的v和h知足Boltzmann散布，因此，当输入v的时候，经过p(h|v)能够获得隐藏层h，而获得隐藏层h之后，经过p(v|h)又能获得可视层，经过调整参数，我们就是要使得从隐藏层获得的可视层v1与原来的可----完整版学习资料分享----=====WORD完整版----可编写----专业资料分享=====视层v如果同样，那么获得的隐藏层就是可视层此外一种表达，因此隐藏层能够作为可视层输入数据的特点，所以它就是一种DeepLearning方法。如果，我们把隐藏层的层数增加，我们能够获得DeepBoltzmannMachine(DBM)；如果我们在凑近可视层的部分使用贝叶斯信念网络（即有向图模型，自然这里依旧限制层中节点之间没有链接），而在最远离可视层的部分使用RestrictBoltzmannMachine，我们能够获得DeepBeliefNet（DBN）。自然，还有其余的一些DeepLearning方法。总之，DeepLearning能够自动地学习出数据的此外一种表示方法，这种表示能够作为特点加入原有问题的特点会合中，进而能够提高学习方法的效果，是业界的研究热点。转折点2006年前，尝试训练深度架构都失败了：训练一个深度有监察前馈神经网络趋向于产生坏的结果(同时在训练和测试误差中)，然后将其变浅为1(1或许2个隐层)。2006年的3篇论文改变了这种状况，由Hinton的革命性的在深度信念网(DeepBeliefNetworks,DBNs)上的工作所引领：Hinton,G.E.,Osindero,S.andTeh,Y.,Afastlearningalgorithmfordeepbeliefnets.NeuralComputation18:1527-1554,2006YoshuaBengio,PascalLamblin,DanPopoviciandHugoLarochelle,GreedyLayerWiseTrainingofDeepNetworks,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems19(NIPS2006),pp.153-160,MITPress,2007Marc’AurelioRanzato,ChristopherPoultney,SumitChopraandYannLeCunEfficientLearningofSparseRepresentationswithanEnergy-BasedModel,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems(NIPS2006),MITPress,2007在这三篇论文中以下主要原理被发现：表示的无监察学习被用于(预)训练每一层；在一个时间里的一个层次的无监察训练，接着以前训练的层次。在每一层学习到的表示作为下一层的输入；用有监察训练来调整所有层(加上一个或许更多的用于产生预测的附加层)；DBNs在每一层中利用用于表示的无监察学习RBMs。Bengioetalpaper探讨和对照了RBMs和auto-encoders(经过一个表示的瓶颈内在层预测输入的神经网络)。Ranzatoetalpaper在一个convolutional架构的上下文中使用稀疏auto-encoders(近似于稀疏编码)。Auto-encoders和convolutional架构将在此后的课程中解说。从2006年以来，大量的对于深度学习的论文被发表。成功应用1、计算机视觉----完整版学习资料分享----=====WORD完整版----可编写----专业资料分享=====ImageNetClassificationwithDeepConvolutionalNeuralNetworks,AlexKrizhevsky,IlyaSutskever,GeoffreyEHinton,NIPS2012.LearningHierarchicalFeaturesforSceneLabeling,ClementFarabet,CamilleCouprie,LaurentNajmanandYannLeCun,IEEETransactionsonPatternAnalysisandMachineIntelligence,2013.LearningConvolutionalFeatureHierachiesforVisualRecognition,KorayKavukcuoglu,PierreSermanet,Y-LanBoureau,KarolGregor,MichaëlMathieuandYannLeCun,AdvancesinNeuralInformationProcessingSystems(NIPS2010),23,2010.2、语音辨别微软研究人员经过与hintion合作，首先将RBM和DBN引入到语音辨别声学模型训练中，并且在大词汇量语音辨别系统中获得巨大成功，使得语音识其他错误率相对减低30%。可是，DNN还没有有效的并行迅速算法，好多研究机构都是在利用大规模数据语料经过GPU平台提高DNN声学模型的训练效率。在国际上，IBM、google等企业都迅速进行了DNN语音识其他研究，并且速度飞快。国内方面，阿里巴巴，科大讯飞、百度、中科院自动化所等企业或研究单位，也在进行深度学习在语音辨别上的研究。3、自然语言办理等其他领域好多机构在展开研究，但深度学习在自然语言办理方面还没有产生系统性的突破。----完整版学习资料分享----