基于受限玻尔兹曼机的手写字符识别算法研究.pdf

基于受限玻尔兹曼机的手写字符识别算法研究 目录 目录1 摘要 2 ABSTRACT 2 第 1章 绪论 3 1.1 研究背景 3 1.2 研究现状 3 1.3 本文的主要工作 3 1.4 论文的组织结构 4 第2章 神经网络基本原理与 RBM 模型探讨 5 2.1 启发式思想与 模拟退火算法 5 2.1.1 贪心算法的局部最优限制与启发式思想 5 2.1.2 模拟退火模型及其概率转移计算 5 2.2 玻尔兹曼机 与受限玻尔兹曼机 6 2.3 受限玻尔兹曼机 模型概述 7 2.3.1 受限玻尔兹曼机网络结构 7 2.3.2 受限玻尔兹曼机能量函数及概率分布计算 8 第3章 受限玻尔兹曼机中的数学 理论 11 3.1 随机梯度法解对数似然函数 11 3.2 马尔可夫链蒙特卡罗策略 与 Gibbs 采样 13 3.2.1 马尔科夫链与马氏定理 13 3.2.2 三种采样算法 15 3.2.3 用采样技术解受限玻尔兹曼机中的计算难题 19 3.3 对比散度算法 20 第4章 基于受限玻尔兹曼机的手写字符识别模型 23 4.1 手写字符特征提取 23 4.1.1 图像特征提取概念及背景 23 4.1.2 常见的手写字符图像特征提取方法 23 4.1.3 数据降维与受限玻尔兹曼机提取特征 25 4.1.4 深度信念网络与贪婪学习 26 4.2 手写字符特征分类 27 4.3 手写字符识别 算法 流程 27 第5章 基于受限玻尔兹曼机的手写字符识别模型示例 29 5.1 手写 数字数据 集 MNIST解析 29 5.2 结果分析 30 第6章 总结与展望 33 致谢 34 参考文献 35 附录1 英文原文 37 附录2 译文 39 摘要 受限玻尔兹曼机（ RBM ）是一种内含两层结构，对称链接，无自反馈的深度学 习网络模型。受限玻尔兹曼机的快速学习算法近年来一直是研究热点，随着对 比散度算法的出现，受限玻尔兹曼机在机器学习节掀起了应用和研究的热潮。 许多实验表明，受限玻尔兹曼机是一种高效的特征提取方法，用于初始化前馈 神经网络可显著提高其泛化能力，堆叠多个受限玻尔兹曼机组成深度信念网络 更能提取抽象特征。本文首先简要概述了手写字符识别络和深度学习的研究背 景，然后阐述了作者对于神经网络的理解，包括模拟退火算法与玻尔兹曼机的 理解