人工智能新浪潮——深度学习.docVIP

人工智能新浪潮——深度学习 　　【摘 要】深度学习（Deep Learning）作为一种基于人工神经网络的无监督学习方法，是近年来兴起的一种新的混合机器学习模型，现成为人工智能领域中炙手可热的研究技术。深度学习带来了机器学习的一个新浪潮，受到学术界和工业界的广泛重视，并带来大数据的深度学习时代。本文结合大数据时代的具体需求，详细阐述了深度学习的发展和应用，突出了其在人工智能领域的重要地位。 　　【关键词】人工智能；深度学习；大数据时代；机器学习 　　1.引言 　　近年来，深度学习逐步推动了人工智能领域的新浪潮。2010年，美国国防部DARPA计划首次资助深度学习项目；2011年来，微软和Google研究人员先后采用深度学习技术降低语音识别错误率20%～30%，取得该领域重大突破；2013年百度创始人兼CEO李彦宏高调宣布成立百度研究院，其第一个重点方向就是深度学习；2013年4月，《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术之首。在今天，Google、百度、微软等知名高科技公司争相投入资源，占领深度学习的技术制高点。 　　2.大数据时代的深度学习 　　大数据时代迫切需要深度学习。为了说明这个观点，本文来谈一下浅层学习和深度学习模型。 　　浅层模型有个重要特点——靠人工经验来抽取样本特征，而强调模型主要是负责分类或预测。所以，特征提取就成了整个系统性能的瓶颈，通常开发团队中更多的人力是投入到构造更好的特征上去的，这就要求开发人员对待解决的问题有很深入的理解。而达到这个程度，往往需要反复摸索。因此，人工手动构造样本特征，不是一个具有生命力的途径。 　　深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。区别于传统的浅层学习，深度学习的不同之处在于：一是强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；二是明确突出了特征学习的重要性，即通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，使分类或预测更加容易。 　　3.深度学习的基本思想和常用方法 　　（1）Deep Learning的基本思想 　　假设我们有一个系统S，它有n层（S1，…Sn），它的输入是I，输出是O，形象地表示为：I=S1=S2=…..=Sn=O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，保持了不变性，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到我们的主题Deep Learning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），通过调整系统中的参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…，Sn。 　　另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。 　　（2）Deep Learning的常用方法 　　AutoEncoder（自编码），自编码算法是一种基于神经网络算法的无监督学习算法，它使用了神经网络中经典的反向传播算法，其特殊之处在于其目标在于让神经网络的输出节点的输出值等于网络的输入值，如在下面具有一个隐藏层（一般自编码算法中会有多个隐藏层）的神经网络中，我们应使得目标输出，自然地，其输出节点数目与输入节点的数目应该相等。同时，自编码算法的另外一个特征是隐藏层的节点数目一般少于输入输出节点的数目。这样的意义在于，此时相当于将输入的特征通过神经网络的非线性变换到节点数更少的隐藏层，再由隐藏层通过非线性变换“无损”地恢复出输入的信息，这样实际上相当于用神经网络实现了对于高维特征向量的一个特征提取和降维。如果输入数据中隐含着一些特定的结构，比如某些输入特征是彼此相关的，那么这一算法就可以发现输入数据中的这些相关性。由此，用这种特殊的神经网络对样本进行学习和训练，我们即可“自动地”得到输入数据的降维后的特征，即隐藏层的节点，省去了人工特征提取的麻烦。 　　（3）自编码算法的实现过程 　　将已得到的某一样本的特征向量（或）作为自编码算法的输入，即上面特征向量的每一个分量代表自编码网络中的一个输入节点。令其输出节点的期望类别向量赋值为（或）。 　　1）对于自编码网络中某一层，，令矩阵该层权重矩阵的修正矩阵为零矩阵，偏置向量的修正向量为零向量。 　　2）设有个训练样本，对于每一个训练样本到。 　　①调用反向传播算法函数backwards_trans（） 　　计算训练自编码网络