毕业论文--基于受限玻尔兹曼机的手写字符识别算法研究.docxVIP

本科毕业论文 PAGE 4 毕 业 论 文(设 计) 论文（设计）题目: 基于受限玻尔兹曼机的手写字符识别算法研究 姓 名 学 号 学 院 山东大学软件学院 专 业 数字媒体技术 年 级 指导教师 2016年 月 日 目录 TOC \o 1-3 \h \u 目录 1 摘要 2 ABSTRACT 2 第1章 绪论 3 1.1 研究背景 3 1.2 研究现状 3 1.3 本文的主要工作 3 1.4 论文的组织结构 4 第2章 神经网络基本原理与RBM模型探讨 5 2.1 启发式思想与模拟退火算法 5 2.1.1 贪心算法的局部最优限制与启发式思想 5 2.1.2 模拟退火模型及其概率转移计算 5 2.2 玻尔兹曼机与受限玻尔兹曼机 6 2.3 受限玻尔兹曼机模型概述 7 2.3.1 受限玻尔兹曼机网络结构 7 2.3.2 受限玻尔兹曼机能量函数及概率分布计算 8 第3章 受限玻尔兹曼机中的数学理论 11 3.1 随机梯度法解对数似然函数 11 3.2 马尔可夫链蒙特卡罗策略与Gibbs采样 13 3.2.1 马尔科夫链与马氏定理 13 3.2.2 三种采样算法 15 3.2.3 用采样技术解受限玻尔兹曼机中的计算难题 19 3.3 对比散度算法 20 第4章 基于受限玻尔兹曼机的手写字符识别模型 23 4.1 手写字符特征提取 23 4.1.1 图像特征提取概念及背景 23 4.1.2 常见的手写字符图像特征提取方法 23 4.1.3 数据降维与受限玻尔兹曼机提取特征 25 4.1.4 深度信念网络与贪婪学习 26 4.2 手写字符特征分类 27 4.3 手写字符识别算法流程 27 第5章 基于受限玻尔兹曼机的手写字符识别模型示例 29 5.1 手写数字数据集MNIST解析 29 5.2 结果分析 30 第6章 总结与展望 33 致谢 34 参考文献 35 附录1 英文原文 37 附录2 译文 39 摘要 受限玻尔兹曼机（RBM）是一种内含两层结构，对称链接，无自反馈的深度学习网络模型。受限玻尔兹曼机的快速学习算法近年来一直是研究热点，随着对比散度算法的出现，受限玻尔兹曼机在机器学习节掀起了应用和研究的热潮。许多实验表明，受限玻尔兹曼机是一种高效的特征提取方法，用于初始化前馈神经网络可显著提高其泛化能力，堆叠多个受限玻尔兹曼机组成深度信念网络更能提取抽象特征。本文首先简要概述了手写字符识别络和深度学习的研究背景，然后阐述了作者对于神经网络的理解，包括模拟退火算法与玻尔兹曼机的理解，从而引出受限玻尔兹曼机模型框架，并着重推导了要理解受限玻尔兹曼机的数学知识理论，包括对数似然估计，马尔科夫链，蒙特卡罗方法等，最后探讨了一种快速RBM学习的算法。基于受限玻尔兹曼机上述特点，本文描述一种高效深度学习模型，利用受限玻尔兹曼机提取手写字符的特征，提高神经网络泛化能力，对手写字符进行识别。最后，本文将会呈现这个模型对于手写字符识别的结果。 关键词：手写字符识别；深度学习；神经网络；受限玻尔兹曼机 ABSTRACT Restricted Boltzmann Machine(RBM) is a particular type of random neural network model which has two-layer architecture, symmetric conection within the same layer. RBM attracts many attention of research these years. And with the development of fast learning algorithm(Contrastive Divergence), RBM sets off a surge to apply model and research. Many experiment show that RBM is a kind of effective feature detector, also it can highly raise the generalization capability when it used to initialized a feed-forward neural network. A deep