基于CUDA加速深度信念网络的手写识别系统研究与实现-软件工程专业论文.docxVIP

万方数据 万方数据 Classified Index：TP311 U.D.C.: 621.3 Dissertation for the Master’s Degree in Engineering THE RESEARCH AND IMPLEMENTATION OF HANDWRITING RECOGNIZING SYSTEM BASED ON CUDA ACCELERATED DEEP BELIEF NETWORK Candidate： Wang Shuohang Supervisor： Senior Lecture Su Tonghua Associate Supervisor: Senior Engineer Zeng Chengbin Academic Degree Applied for： Master of Engineering Speciality： Software Engineering Affiliation： School of Software Date of Defence： June, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 近年来，深度学习在工业界的各个领域都发展迅速，而在手写识别方面深 度学习还未被广泛使用，因而需要是对深度信念网络进行研究以提高对手写字 符的识别率。但与此同时，由于深度信念网络的计算复杂度很高，如果要对大 规模的数据进行训练，不能只靠单线程来运行该程序，需要更多的考虑其中的 并行部分并用多线程实现，以加速其运行速度。 本 文 实 现 的 手 写 识 别 系 统 ， 即 在 CUDA (Compute Unified Device Architecture)，计算统一设备架构)架构下对深度信念网络进行了并行加速，并采 用了多种并行技术以达到最优的加速比。在保证深度信念网络可以高效的训练 模型的前提下，本文对深度信念网络进行了进一步的研究，主要从提高模型对 手写字符识别率，减小模型大小，加快解码速度，加快训练速度几方面对深度 信念网络进行改进。 本文首先分析了深度信念网络并行性，主要从任务并行和数据并行两方面 对算法进行分析，而后利用 GPU (Graphics Processing Unit,图形处理器)的多线程 进行并行计算，并采用共享内存、合并访问、流处理等技术对其并行计算部分 进行优化。考虑到深度信念网络所采用的不同的反馈算法，本文分别用 CUDA C 实现了共轭梯度下反馈，用 CUDA Python 实现了随机梯度反馈。在保证深度信 念网络训练速度后，本文针对手写字符数据对算法进行了改进，主要是采用了 模型稀疏化、低阶转换、rectify 隐藏层以及优化共轭梯度下降的方法对深度信 念网络进行优化。本文最后根据训练的模型，对手写字符进行识别。 本文基于 CUDA 架构实现的深度信念网络均达到了 15 倍以上的加速比，满 足了系统的需求。本文所采用模型稀疏化的改进方法，可以对模型的大小进行 任意的缩放，在适当的稀疏化的情况下识别率还会略有提升；低阶转换的方法， 可以提取模型的主成分，可以加快训练速度，也可减小模型大小加快解码速度。 rectify 隐藏层的方法可以对神经元节点进行稀疏处理，不仅提高了识别精度同 时也加快了解码效率；优化共轭梯度下降的方法，可以使深度信念网络收敛速 度加快。 关键词：GPU；CUDA；深度信念网络；并行计算；手写字符 -I- Abstract In recent years, deep learning has developed rapidly in many fields of the industry, while it has not been used widely in the area of handwriting recognizing. More could be done to enhance the recognizing rate of handwriting characters by using deep belief network. However, the computation complexity of deep belief network is very high. So if deep belief network is used to train huge number of data, it will take a long time to run the code by just using single thread. For