深度学习 模式识别

深度学习DeeplearningTitleinhere目录四、深度学习常用模型三、深度学习基本思想二、人脑视觉机理与特征一、深度学习的研究及意义01Addyourtextshere01选 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 背景02研究现状第一章深度学习的研究及意义03应用1.1背景：图灵（计算机和人工智能的鼻祖）在1950年的论文里，提出图灵试验的设想，即隔墙对话，你将不知道与你谈话的是人还是电脑。机器学习（MachineLearning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。从机器学习的模型结构层次来分，机器学习经历了两次浪潮：1、浅层学习（ShallowLearning）：机器学习第一次浪潮2、深度学习（DeepLearning）：机器学习第二次浪潮浅层学习20世纪80年代末期，由于人工神经网络的反向传播算法（BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支持向量机（SVM）、Boosting、最大熵方法（LR）等。深度学习2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton等在《Science》上发 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 了一篇文章[1]，开启了深度学习在学术界和工业界的浪潮。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。[1]HintonGeoffrey,OsinderoSimon,WellingMax,TehYee-Whye.UnsupervisedDiscoveryofNonlinearStructureUsingContrastiveBackpropagation.Science.2006,4(30):725-732.浅层学习的局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）1.2国内外研究现状 1.2012年6月，《纽约时报》披露了GoogleBrain项目，这个项目运用深度学习的研究成果，使用1000台电脑创造出多达10亿个连接的“神经网络”，让机器系统学会自动识别猫。2.2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术是DNN，或者深度学（DL，DeepLearning）。3.2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”（IDL，InstitueofDeepLearning）。1.3应用例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。第二章人脑视觉机理与特征 从原始信号摄入开始（瞳孔摄入像素Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定眼前物体的形状），然后进一步抽象（大脑进一步判定该物体是人脸）。总的来说，人的视觉系统的信息处理是分级的。高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。关于特征特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。那对于特征，我们需要考虑什么呢？学习算法在一个什么粒度上的特征表示，才有能发挥作用？就一个图片来说，像素级的特征根本没有价值。例如下面的摩托车，从像素级别，根本得不到任何信息，其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性的时候，比如是否具有车把手，是否具有车轮，就很容易把摩托车和非摩托车区分，学习算法才能发挥作用。1995年前后，DavidField试图同时用生理学和计算机的手段，研究视觉问题。他们收集了很多黑白风景照片，从这些照片中，提取出400个大小一样的小碎片，再从这些黑白风景照片中，随机提取另一个碎片T。如何从这400个碎片中，选取一组碎片合成出一个新的碎片，而这个新的碎片，应当与随机选择的目标碎片T，尽可能相似，同时选取的碎片的数量尽可能少？既然像素级的特征表示方法没有作用，那怎样的表示才有用呢？DavidField使用稀疏编码的方式来解决这个问题。令人惊奇的是，被选中碎片，基本上都是照片上不同物体的边缘线，这些线段形状相似，区别在于方向。不仅图像存在这个规律，声音也存在。从未标注的声音中发现了20种基本的声音结构，其余的声音可以由这20种基本结构合成。（同声传译的秘诀之一）结构性特征表示 小块的图形可以由基本edge构成，更结构化，更复杂的，具有概念性的图形如何表示呢？这就需要更高层次的特征表示，比如V2，V4。因此V1看像素级是像素级。V2看V1是像素级，这个是层次递进的，高层表达由底层表达的组合而成。专业点说就是基basis。V1取提出的basis是边缘，然后V2层是V1层这些basis的组合，这时候V2区得到的又是高一层的basis。即上一层的basis组合的结果，上上层又是上一层的组合basis……直观上说，就是找到makesense的小patch再将其进行combine，就得到了上一层的feature，递归地向上learningfeature。第三章深度学习的基本思想深度学习是机器学习的第二次浪潮。2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。     浅层结构的局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数） 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。 Deeplearning与传统的神经网络之间有相同的地方也有很多不同。二者的相同在于deeplearning采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接；这种分层结构，是比较接近人类大脑的结构的。 为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。传统神经网络中，采用的是backpropagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。deeplearning整体上是一个layer-wise（分层计算）的训练机制。这样做的原因是因为，如果采用backpropagation的机制，对于一个deepnetwork（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradientdiffusion（梯度扩散）。不同的训练过程1）自下而上的非监督学习:从底层开始，一层一层的往顶层训练，分别得到各层参数。采用无标签数据分层训练各层参数（可以看作是featurelearning过程）2）自上而下的监督学习：通过带标签的数据去训练，误差自上向下传输，对网络进行微调。基于第一步得到的各层参数进一步调整整个多层模型的参数，这一步是一个有监督训练过程。深度学习整体上是一个layer-wise（分层计算）的训练机制。一是每次训练一层网络，二是调优。四、深度学习常用模型自动编码器（AutoEncoder）稀疏编码（SparseCoding）限制波尔兹曼机(RBM)深度信念网络（DeepBeliefNetworks）卷积神经网络(ConvolutionalNeuralNetworks)自动编码器（AutoEncoder）左图，输入的样本是有标签的，这样我们根据当前输出和target（label）之间的差去改变前面各层的参数，直到收敛。但现在只有无标签数据，也就是右边的图。那么这个误差怎么得到呢？ 将input输入一个encoder编码器，就会得到一个code，这个code也就是输入的一个表示，再加一个decoder解码器，这时候decoder就会输出一个信息，那么如果输出的这个信息和一开始的输入信号input是很像的（理想情况下就是一样的），就有理由相信这个code是靠谱的。通过调整encoder和decoder的参数，使得重构误差最小，这时候我们就得到了输入input信号的第一个表示了，也就是编码code了。因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。重构误差最小时的code就是原输入信号的良好表达了，将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输入的code，也就是原输入信息的第二个表达了。其他层就同样的方法炮制就行了。经过上面的方法，每一层都会得到原始输入的不同的表达。这个AutoEncoder还不能用来分类数据，因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。为了实现分类，我们就可以在AutoEncoder的最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），然后通过 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 的多层神经网络的监督训练方法（梯度下降法）去训练。   将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，这也分两种，一个是只调整分类器（黑色部分） 另一种：通过有标签样本，微调整个系统：（如果有足够多的数据，这个是最好的。end-to-endlearning端对端学习）ConvolutionalNeuralNetworks卷积神经网络卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。卷积神经网络的网络结构卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征；S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。 卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提取的计算层（S-层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数了。权值共享假设隐含层的每一个神经元都连接10x10个图像区域，也就是说每一个神经元存在10x10=100个连接权值参数。不管隐层的神经元个数有多少，如果每个神经元用的是同一个卷积核去卷积图像，这样就只有100个参数！一种卷积核就是提出图像的一种特征，例如某个方向的边缘。所以假设有100种滤波器，每种滤波器的参数不一样，表示它提出输入图像的不同特征，例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映，我们称之为FeatureMap。所以100种卷积核就有100个FeatureMap。这100个FeatureMap就组成了一层神经元。隐层的参数个数和隐层的神经元个数无关，只和滤波器的大小和滤波器种类的多少有关。隐层的神经元个数和原图像，也就是输入的大小（神经元个数）、滤波器的大小和滤波器在图像中的滑动步长都有关！例如图像是1000x1000像素，而滤波器大小是10x10，假设滤波器没有重叠，也就是步长为10，这样隐层的神经元个数就是(1000x1000)/(10x10)=100x100个神经元了，这只是一种滤波器，也就是一个FeatureMap的神经元个数哦，如果100个FeatureMap就是100倍了。由此可见，图像越大，神经元个数和需要训练的权值参数个数的贫富差距就越大。 上面的讨论都没有考虑每个神经元的偏置部分。所以权值个数需要加1。这个也是同一种滤波器共享的。卷积网络的核心思想是将：局部感受野、权值共享（或者权值复制）以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。一个典型的例子说明 一种典型的用来识别数字的卷积网络是LeNet-5。当年美国大多数银行就是用它来识别支票上面的手写数字的。能够达到这种商用的地步，它的准确性可想而知。 LeNet-5共有7层，不包含输入，每层都包含可训练参数（连接权重）。输入图像为32*32大小。这样做的原因是希望潜在的明显特征如笔画断电或角点能够出现在最高层特征监测子感受野的中心。     C1层是一个卷积层（通过卷积运算，可以使原信号特征增强，并且降低噪音），由6个特征图FeatureMap构成。特征图中每个神经元与输入中5*5的邻域相连。特征图的大小为28*28，这样能防止输入的连接掉到边界之外。C1有156个可训练参数（每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数），共156*(28*28)=122,304个连接。 S2层是一个下采样层（对图像进行子抽样，可以减少数据处理量同时保留有用信息），有6个14*14的特征图。特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4（行和列各1/2）。C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的特征map就只有10x10个神经元，但是它有16种不同的卷积核，所以就存在16个特征map了。这里需要注意的一点是：C3中的每个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合（这个做法也并不是唯一的）。（这里是组合，底层的结构构成上层更抽象的结构，例如边缘构成形状或者目标的部分）。 刚才说C3中每个特征图由S2中所有6个或者几个特征map组合而成。为什么不把S2中的每个特征图连接到每个C3的特征图呢？原因有2点。第一，不完全的连接机制将连接的数量保持在合理的范围内。第二，也是最重要的，使不同的特征图有不同的输入，迫使他们抽取不同的特征（希望是互补的）。例如，存在的一个方式是：C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。这样C3层有1516个可训练参数和151600个连接。 S4层是一个下采样层，由16个5*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。S4层有32(16*(1+1))个可训练参数（每个特征图1个因子和一个偏置）和2000个连接。 C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻域相连。由于S4层特征图的大小也为5*5（同滤波器一样），故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。C5层有48120(120*401(16*5*5+1))个可训练连接。 F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全相连。有10164(84*121(120+1))个可训练参数。如同经典神经网络，F6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。输出层由欧式径向基函数（EuclideanRadialBasisFunction）(径向基函数是一个取值仅仅依赖于离原点距离的实值函数,欧氏距离是其中一个实例)单元组成，每类一个单元，每个有84个输入。换句话说，每个输出RBF单元计算输入向量和参数向量之间的欧式距离。输入离参数向量越远，RBF输出的越大。一个RBF输出可以被理解为衡量输入模式和与RBF相关联类的一个模型的匹配程度的惩罚项。这些单元的参数是人工选取并保持固定的（至少初始时候如此）。这些参数向量的成分被设为-1或1。虽然这些参数可以以-1和1等概率的方式任选，或者构成一个纠错码，但是被设计成一个相应字符类的7*12大小（即84）的格式化图片。这种表示对识别单独的数字不是很有用，但是对识别可打印ASCII集中的字符串很有用。参考文献［1］Zouxy.DeepLearning（深度学习）学习笔记整理系列. http://blog.csdn.net/zouxy09,2013-04-08