IHMSC中文修订版.docxVIP

基于深度学习的多信号联想生成模型AnAssociative Generated Model for Multi-signals Based on Deep Learning摘要通过对语言形成过程的学习，我们发现大脑可以通过接收不同信号源，经联想、模式识别等操作，将同类事物的不同表达方式提取出共同特征从而建立联系。本文研究的主要内容就是通过建立一个不同信号的联想生成模型来模拟大脑的这一能力。该模型主要基于限制波尔兹曼机和深信度网络，首先使用深信度网络对多路输入信号源进行特征提取，随后通过限制波尔兹曼机将特征融合产生共同特征，最终达到联想互生成的目的。文章最后通过实现阿拉伯数字图片与汉字数字图片的相互生成验证了模型的可行性。关键字：联想、生成模型、特征提取、深信度网络引言研究原因近年来关于大脑是如何工作这一课题的研究愈来愈热，我们都希望通过对人脑的研究来实现具有智能的计算机，为人类提供便利。语言学家在研究中发现，语言的形成过程存在着不同的语言社团，当他们相互交往时，不同的语言来回往复的传递着各自的特征。经过数千年的发展，人类各种规模的群体、部落和小区之间相互融合，在语言中也产生了大量的共同特征。这表明大脑具备着对同类事物的不同表达方式建立联系的能力，通过模拟这一能力可以为我们提供智能翻译、模式识别等功能。技术背景人工神经网络是模拟大脑工作的有力工具，它通过运用大量神经元来模拟大脑神经系统的结构和功能。基于神经生物学家发现的视觉系统的分级信息处理机制，人们对于神经系统有了进一步思考，得出神经-中枢-大脑的工作过程是一个不断迭代、不断抽象的过程。大脑认知事物应该也是将原始信号从低级抽象逐渐向高级抽象迭代的。Hinton教授于2006年提出了深度学习概念，这使得特征提取过程从以往的人工提取迈向了更加通用化的神经网络。背景本章将介绍联想生成模型中使用到的相关技术。深信度网络提供了特征提取的功能，限制玻尔兹曼机是深信度网络的组成部分。限制波尔兹曼机Figure 1 RBM模型RBM是一种具有两层结构的双向反馈型神经网络，模型如图1。下层为可视层v，接收输入向量x；上层为隐藏层h，两层之间由双向边相连，权值为w；两层神经元各有偏差b，c。该模型具有能量函数见公式1。通过不断调节参数降低能量函数，我们可以使上层向下层还原出的数据更加贴近真实数据。(1)深信度网络深信度网络可以是由多个RBM堆在一起的概率生成模型，一个典型的三层DBN模型如图2。在L层的深信度网络中输入向量x与隐藏层之间的联合概率分布为(2)其中,是在DBN中第k个RBM中关于可视层和隐藏层之间的条件概率，是对微调后产生的下层到上层的条件概率，是顶层RBM的联合概率分布。根据公式2我们可以通过逐层计算最终求出顶层h的取值，实现输入信号的特征提取。Figure 2三层DBN模型模型本文基于DBN和RBM建立一个联想生成模型，用来模拟大脑经过不同信息源学习同类事物的能力。模型如图3，它是由两个下层的DBN和顶层的RBM组成。Figure 3联想生成模型训练模型的步骤如下：两个底层的DBN分别接受各自的输入信号；通过DBN逐层的提取特征，最后根据公式2求出最终特征。其中每层都可以看作是一个RBM，在计算过程中，我们将采用对比散度方法（contrastive Divergence）计算RBM中参数，同时采用了dropout方法。这里我们以输入层RBM为例，在给定输入向量x时，通过公式3求出隐藏层各个神经元的取值，其中sigma函数为logistic函数，即，同理从特征我们可以还原到输入向量，见公式4。图4展示了进行CD-1方法的RBM，通过公式[5-7]我们可以求出RBM网络中参数W，b，c的取值，为学习速率；Figure 4使用CD-1方法展开的RBM模型(3)(4)(5)(6)(7)在顶层RBM中将得到的特征进行CD-1操作，产生共同特征；使用Up-Down算法对所有参数进行微调。测试模型的步骤如下：任取一个信号源作为输入；通过训练好的DBN提取特征；在顶层RBM中做联想记忆操作，产生另一路信号的特征；根据产生的特征在DBN中做生成操作，得到生成的信号，最后与真实的信号进行对比。实验数据集本文将采用手写体MNIST数据库作为阿拉伯数字输入的信号源，包括60000个训练图片和10000个测试图片，每幅图片的像素28*28；另外一路的信号源采用加入噪声的毛泽东字体的中文数字，每幅图片像素为40*40，样例如图4。Figure 4输入样例结果(生成图；准确率、召回率)实验中我们通过训练图5的模型来验证多信号联想生成模型的可行性。图7为随机产生的30个中文数字经模型生成的阿拉伯数字的对应图。Figure 5实验模型Figure 6阿拉伯数字产生汉字数字Figure 7汉字数字产生阿拉伯数字本