7 深度学习

图像信息处理研究室Images.hfut.edu.cn深度学习DeepLearning智能信息处理课程组2014Fall智能信息处理IntelligentInformationProcessing图像信息处理研究室Images.hfut.edu.cn1.概述AI（ArtificialIntelligence）也就是人工智能，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。图灵在1950年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的。图像信息处理研究室Images.hfut.edu.cn1.概述自2006年以来，机器学习领域，取得了突破性的进展。图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法，这个算法就是，DeepLearning。借助于DeepLearning算法，人类终于找到了如何处理“抽象概念”这个亘古难题的方法。深度学习是近年来机器学习研究中新兴的领域，简单来说深度学习就是一种基于无监督特征学习和特征层次结构的学习方法，建立、模拟人脑进行分析学习的神经网络，来模仿人脑的机制来解释数据。图像信息处理研究室Images.hfut.edu.cn2.背景机器学习（MachineLearning）一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律从而对新的样本做智能识别或对未来做预测。图像信息处理研究室Images.hfut.edu.cn2.背景机器学习（MachineLearning）以视觉感知为例子：从开始的通过传感器来获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，而中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但，这块实际中一般都是人工完成的，靠人工提取特征。然而，手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动地学习一些特征呢？是，能，那就是deeplearning。特征表达机器学习图像信息处理研究室Images.hfut.edu.cn2.背景从20世纪80年代末期至今，机器学习的发展大致经历了两次浪潮，第一次浪潮是浅层学习（shallowlearning），第二次浪潮正在进行即是深度学习（deeplearning）。图像信息处理研究室Images.hfut.edu.cn2.背景2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton在《Science》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。许多全球性的高科技大公司相继投入大量资源进行深度学习技术研究。图像信息处理研究室Images.hfut.edu.cn3.人脑视觉机理近几十年以来，认知神经科学、生物学等等学科的发展，让我们对自己这个神秘的而又神奇的大脑不再那么的陌生，也给人工智能的发展推波助澜。1958年，DavidHubel和TorstenWiesel通过动物实验研究证实了瞳孔区域与大脑皮层神经元之间存在着某种对应关系。这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。从原始信号，做低级抽象，逐渐向高级抽象迭代。图像信息处理研究室Images.hfut.edu.cn3.人脑视觉机理例如，从原始信号摄入开始（瞳孔摄入像素），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。图像信息处理研究室Images.hfut.edu.cn3.人脑视觉机理图像信息处理研究室Images.hfut.edu.cn4.特征特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。像素级的特征表示方法没有作用左面的摩托车，从像素级别，根本得不到任何信息，其无法进行摩托车和非摩托车的区分。图像信息处理研究室Images.hfut.edu.cn4.特征复杂图形，往往由一些基本结构组成。一个图可以通过用64种正交的edges（可以理解成正交的基本结构）来线性表示。比如左例的x可以用1-64个edges中的三个按照0.8,0.3,0.5的权重调和而成。而其他基本edge没有贡献，因此均为0图像信息处理研究室Images.hfut.edu.cn4.特征小块的图形可以由基本edge构成，更结构化，更复杂的，具有概念性的图形就需要更高层次的特征表示。层次递进，高层表达由底层表达的组合而成。总的来讲就是递归地向上learningfeature。深度学习特征，特征越多，给出的参考信息就越多，准确性会得到提升。但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题，并不一定特征越多越好。图像信息处理研究室Images.hfut.edu.cn5.基本思想假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为：I=>S1=>S2=>…..=>Sn=>O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（这是不可能的），在任何一层Si，它都是原有信息（即输入I）的另外一种表示。DeepLearning来自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…,Sn。对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入，通过这种方式，就可以实现对输入信息进行分级表达了。图像信息处理研究室Images.hfut.edu.cn6.浅层学习和深度学习浅层学习20世纪80年代末期，用于人工神经网络的反向传播算法（也叫BackPropagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机（Multi-layerPerceptron），但实际是种只含有一层隐层节点的浅层模型。图像信息处理研究室Images.hfut.edu.cn6.浅层学习和深度学习深度学习深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性.区别于浅层学习,深度学习的不同在于:强调了模型结构的深度,通常有5层甚至更多的隐层节点明确突出了特征学习的重要性,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易.利用大数据来学习特征,更能够刻画数据的丰富内在信息.图像信息处理研究室Images.hfut.edu.cn6.浅层学习和深度学习学习训练传统的神经网络训练方法，常用的是BP误差反向传播算法。但是BP算法存在以下问题：梯度越来越稀疏。从顶层越往下，误差校正信号越来越小；收敛到局部最小值。尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；一般，我们只能用有标签的数据来训练。但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习。图像信息处理研究室Images.hfut.edu.cn6.浅层学习和深度学习学习训练如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合（因为深度网络的神经元和参数太多了）。2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优。具体是：首先逐层构建单层神经元，这样每次都是训练一个单层网络。当所有层训练完后，Hinton使用wake-sleep算法进行调优。将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其它层则变为了图模型。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。图像信息处理研究室Images.hfut.edu.cn6.浅层学习和深度学习学习训练Wake-sleep算法：解码器错误输入编码器编码重建wake阶段：认知过程，通过下层的输入特征（Input）和向上的认知（Encoder）权重产生每一层的抽象表示（Code），再通过当前的生成（Decoder）权重产生一个重建信息（Reconstruction），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（Decoder）权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”。图像信息处理研究室Images.hfut.edu.cn6.浅层学习和深度学习学习训练Wake-sleep算法：解码器错误输入编码器编码重建sleep阶段：生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。图像信息处理研究室Images.hfut.edu.cn6.浅层学习和深度学习学习训练deeplearning训练具体过程如下：使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）：采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是featurelearning过程）。自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）：基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果；所以deeplearning效果好很大程度上归功于第一步的featurelearning过程。图像信息处理研究室Images.hfut.edu.cn7.常用模型算法AutoEncoder自动编码器自动编码器就是一种尽可能复现输入信号的神经网络。解码器错误输入编码器编码重建产生特征，逐层训练图像信息处理研究室Images.hfut.edu.cn7.常用模型算法AutoEncoder自动编码器我们需要将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调，分别是以下两种方法只调整分类器通过有标签样本，微调整个系统图像信息处理研究室Images.hfut.edu.cn7.常用模型算法SparseAutoEncoder稀疏自动编码器自动编码器就是一种尽可能复现输入信号的神经网络。解码器错误输入编码器重建编码限制每次得到的表达编码尽量稀疏稀疏惩罚项其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效。图像信息处理研究室Images.hfut.edu.cn7.常用模型算法DenosingAutoEncoder稀疏自动编码器自动编码器就是一种尽可能复现输入信号的神经网络。降噪自动编码器DA是在自动编码器的基础上，训练数据加入噪声，所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。原始输入重建隐藏编码加入噪声的输入原始输入或者重建图像信息处理研究室Images.hfut.edu.cn7.常用模型算法RestrictedBoltzmannMachine限制波尔兹曼机假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann分布，我们称这个模型是RestrictedBoltzmannMachine(RBM)。图像信息处理研究室Images.hfut.edu.cn7.常用模型算法RestrictedBoltzmannMachine限制波尔兹曼机假设有一个二部图，每一层的节点之间没有链接，一层是可视层，即输入数据层（v)，一层是隐藏层(h)，如果假设所有的节点都是随机二值变量节点（只能取0或者1值），同时假设全概率分布p(v,h)满足Boltzmann分布，我们称这个模型是RestrictedBoltzmannMachine(RBM)。hw隐藏变量图像可见变量二分结构图像信息处理研究室Images.hfut.edu.cn7.常用模型算法DeepBeliefNetworks深度置信网络DBNs是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和P(Label|Observation)都做了评估，而判别模型仅仅评估了后者而已，也就是P(Label|Observation)。对于在深度神经网络应用传统的BP算法的时候，DBNs遇到了以下问题：需要为训练提供一个有标签的样本集；学习过程较慢；不适当的参数选择会导致学习收敛于局部最优解。图像信息处理研究室Images.hfut.edu.cn7.常用模型算法DeepBeliefNetworks深度置信网络DBNs由多个限制玻尔兹曼机（RestrictedBoltzmannMachines）层组成，这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。h3h2h1vw3w2w1深度玻尔兹曼机h3h2h1vw3w2w1深信度网络图像信息处理研究室Images.hfut.edu.cn7.常用模型算法ConvolutionalNeuralNetworks卷积神经网络卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。图像信息处理研究室Images.hfut.edu.cn7.常用模型算法ConvolutionalNeuralNetworks卷积神经网络卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。NN输入c1s2c3s4图像信息处理研究室Images.hfut.edu.cn7.常用模型算法ConvolutionalNeuralNetworks卷积神经网络滤波过程：卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。NN输入c1s2c3s4图像信息处理研究室Images.hfut.edu.cn8.深度学习的应用视频中的动作行为识别检测时空显著兴趣点提取特征点形成字典最近邻量化直方图向量汇总训练和测试SVM分类器传统识别步骤图像信息处理研究室Images.hfut.edu.cn8.深度学习的应用视频中的动作行为识别Ji等人［5］提出多层的3D卷积神经网络来学习视频块的时空特征，并通过卷积操作来实现对整个视频的特征学习，从而替代之前的时空兴趣点检测和特征描述符提取。在TRECVID数据库上进行的实验取得了非常不错的效果。Baccouche等人提出使用稀疏卷积自编码器网络来学习视频块的时空特征；Taylor等人提出使用卷积限制玻尔兹曼机［8］来学习视频中相邻两帧的时空特征，都取得了较好的识别效果。图像信息处理研究室Images.hfut.edu.cn8.深度学习的应用语音识别你好预处理特征提取测度估计识别决策库语音输入识别测试模板训练参考模板识别结果基本流程图像信息处理研究室Images.hfut.edu.cn8.深度学习的应用语音识别采用深度神经网络后，可以充分描述特征之间的相关性，并且把连续多帧的语音特征整合在一起，构成一个高维特征，最终的深度神经网络可以采用高维特征训练来模拟，由于深度神经网络采用模拟人脑的多层结果，可以逐级地进行信息特征提取，最终形成适合模式分类的较理想特征，这种多层结构和人脑处理语音图像信息的时候，是有很大的相似性的。图像信息处理研究室Images.hfut.edu.cn8.深度学习的应用自然语言理解大多数传统系统主要有这样的几个缺点：首先这些系统是浅层结构，并且分类器是线性的；其次为了一个线性分类器有更好的性能，系统必须融入大量为特定任务指定的人工特征；最后这些系统往往丢弃那些从其他任务学来的特征。图像信息处理研究室Images.hfut.edu.cn8.深度学习的应用自然语言理解从2006年开始，研究者们开始利用深层神经网络在大规模无标注语料上无监督的为每个词学到了一个分布式表示，形式上把每个单词表示成一个固定维数的向量，当作词的底层特征。在此特征基础上，Collobert&Weston完成了词性标注、命名实体识别和语义角色标注等多个任务，RichardSocher等人则利用递归神经网络完成了句法分析、情感分析和句子表示等多个任务，这也为语言表示提供了新的思路。图像信息处理研究室Images.hfut.edu.cn9.总结深度学习是机器学习和人工智能系统研究中的一个新领域，未来发展前景广阔，受到了学术界和工业界的广泛关注。虽然深度学习目前还处于发展初期，但是它已经促进了声音、图像、语言等多个领域的飞速发展。图像信息处理研究室Images.hfut.edu.cn9.总结深度学习是机器学习和人工智能系统研究中的一个新领域，未来发展前景广阔，受到了学术界和工业界的广泛关注。虽然深度学习目前还处于发展初期，但是它已经促进了声音、图像、语言等多个领域的飞速发展。探索新的特征提取模型是值得深入研究的。此外有效的可并行训练算法也是值得研究的一个方向。当前基于最小批处理的随机梯度优化算法很难在多计算机中进行并行训练。通常办法是利用图形处理单元加速学习过程。然而单个机器GPU对大规模数据识别或相似任务数据集并不适用。在深度学习应用拓展方面，如何合理充分利用深度学习在增强传统学习算法的性能仍是目前各领域的研究重点。