本科毕业论文-深度机器学习中的流形平坦度研究.docxVIP

深度机器学习中的流形平坦度研究 摘 要 在互联网社会，信息传输大量迅速，各类海量高维数据集成为主流，而社会也进入大数据时代。而在这一背景下产生的流形学习理论在处理高维数据、提取有效信息方面取得了非常显著的成就。本文通过流形学习理论分析隐藏在高维数据和模型表示中的低维结构的性质，着重研究了深度学习网络中的流形平坦度。本文的主要工作分为以下三点： 1、设计出一个切实可行的度量算法评价了流形的平坦度，并设计实验验证这一度量算法，其中包括设计人造数据以及通过实际数据构造出的对比实验测评。 2、研究影响平坦度的因素，且利用提出的流形平坦度度量算法分析了深度自编码神经网络中的平坦度情况。首先训练出多种深度自编码神经网络模型，然后计算出平坦度数据。之后通过图表的形式直观形象的分析了不同层数的深度自编码神经网络的各层表示的情况，以及不同数字的条件下模型的表示所在流形的平坦度情况，并对比得出深度对于模型的表示的平坦度的影响。 3、研究平坦度的应用，对于用于分类的模型，通过计算出的分类结果和激励的分布情况，分析了其平坦度和分类效果之间的关系，最后归纳出平坦度、分类结果以及激励值分布结果之间的联系。对于自编码神经网络，分析了不同层处的维数约简操作所造成的影响，并直观的展示出深度结构中各层维数约简带来的影响的大小对比。由此总结出深度结构的维数约简性质和被视为编码层的表示的平坦度性质之间的关系。 本文通过研究流形平坦度入手，设计了平坦度度量算法，并由此对深度神经网络进行研究，分析在模型中影响平坦度的因素，以及平坦度与模型其他性质的关系。 关键词：流形学习，深度神经网络，平坦度 Manifold Flatness Study in Deep Neural Networks Abstract In the Internet Society, large amount of information are transmitted rapidly. All kinds of massive high-dimensional dataset turn to be the mainstream, and then the community entered the era of big data. The manifold learning theory generated in this context has made significant achievements in the treatment of high-dimensional data to extract useful information. This paper uses manifold learning theory to analysis the nature of low-dimensional structures which is hidden in high-dimensional data and model representation, and focuses on the manifold flatness study in deep neural networks. Our work can be concluded as the following three parts: Design a practical algorithm to measure the flatness of the manifold, and contrive experiments to evaluate this algorithm, including constructing artificial data and actual data with the comparison to perform evaluation. Study the factors affecting flatness, and use the algorithm for manifolds flatness measurement to analyze the flatness situation of deep auto encoder models. First train multiple deep auto encoder model, and then calculate the flatness data for them. Next analyze representation on each layer in diverse deep auto encoder models as well as manifold conditions of models’ representation