机器学习（慕课版）实验及参考结果 实验3 基于概率密度估计的手写数字集识别.docx

基于概率密度估计的手写数字集识别

姓名:

学号：

专业：

指导老师：

（打印时，下面的得分情况表留在封面）

报告分：（100points）

Attendance(5points)

Results(10points)

实验课时签到成功（5）

实验课时没有签到成功（0）

给出算法正确和可运行程序（10）

程序算法原理有部分理解错误（5）

程序算法原理和程序都有完全错误（0）

ContentofReport(55points)

formatinReport(30points)

要求点全部高质量完成（55）

要求点完成但有错误（给分点减半）

要求点没有完成（扣相应给分点的分）

图表、引用等符合学术规范（15）、语言清晰，逻辑明确和表述清晰完整(15)

图表、引用不符合学术规范(0)

语言清晰，逻辑明确和表述清晰完整(0)

最终本次实验得分成绩=报告分x（时间或算法）性能排序因子

（时间或算法）性能排序因子为：

top1-3，100%

Top4-10，95%

Top11-15，90%

Top16-最后，80%

性能可以并列第一。

实验报告

问题描述：

数据集介绍：

MNIST数据集是一个经典的机器学习和深度学习领域常用的数据集，它用于手写数字识别任务。以下是对MNIST数据集的详细介绍：

MNIST（ModifiedNationalInstituteofStandardsandTechnologydatabase）数据集最初由美国国家标准与技术研究院（NIST）创建，后来被修改和扩展，成为机器学习领域的标准测试数据集。

数据集组成：

MNIST数据集包含了一组28x28像素的手写数字图像，涵盖了0到9的10个数字。每个数字有6000个训练样本和1000个测试样本，共计70000张图像。数据集被分为训练集（60000张图像）和测试集（10000张图像）。每张图像都是单通道的灰度图像，每个像素的值介于0到255之间，表示像素的亮度。

数据集用途：

MNIST数据集通常用于图像分类任务，即将手写数字图像分为0到9这10个数字中的一个。这个数据集常常被用来测试和比较不同的机器学习和深度学习算法的性能，尤其是图像处理领域的算法。

数据集特点：

数据集中的图像是相对简单的，分辨率低（28x28像素），并且数字的手写风格多种多样。图像中的数字位于图像中央，具有一定的居中性。MNIST数据集是一个平衡的数据集，即每个数字类别的样本数量相等，因此适合于多类别分类任务的训练和评估。

问题的本质与分析：

这个问题的本质在于从手写数字图像中自动提取和识别对应的数值。这是一个分类问题，目标是将每个输入图像分类到10个可能的类别（即数字0到9）中的一个。MNIST数据集自身具有一些特定的特点。它包括60,000个手写数字的训练示例和10,000个测试示例。值得注意的是，这些图像已经过归一化和中心化处理，使得模型的训练更为简便。然而，由于每个人的书写风格都有所不同，这个数据集带来了一些固有的挑战。

在处理这个问题时，有多种方法和技术可供选择。传统的机器学习技术，如支持向量机（SVM）、决策树和随机森林，在MNIST数据集上都能取得相对不错的结果。为了进一步增强模型的性能，数据增强技术，如图像的旋转、平移和缩放，也经常被采用。

数据预处理：

数据选取的是网上公开的mnist数据集，该数据集有多个版本，我选择的是‘mnist.plk.gz’是经过gzip压缩之后的文件。所以第一步是进行数据的解压，我选择的是python中gzip库，通过gzip.open函数进行解压并使文件存储格式从‘rb’改为‘bytes’。完成解压之后我有对数据的训练集测试机进行了划分，根据本身数据格式，将60000张图像组成训练集，10000张图像组成测试集。

之后先对矩阵进行二值化（整个矩阵除以最大值255，将分布转移到0-1之间）再通过plt函数将其绘制出来，同时我也尝试将图像从时域转化到频域中，得到下图的结果。

通过观察数据可以看出，图像整体28*28的像素，并且是灰度图像，图像的高频和低频部分各有一个高峰，且整体较为连贯。之后考虑到矩阵的维度较多且数据量很大，图像中大部分黑色的区域都没有意义，所以我采用PCA降维的方式将图像的值只保留方差为100的。

解决问题的思路，方法，思路的可性行和预期结果表现

K-最近邻（KNN）算法是一种简单且广泛应用的监督学习算法，用于分类和回归。它的核心原理是根据相似性（通常是距离度量）来预测未知数据点的标签或值。

KNN算法的工作原理：

1.确定K值：

K代表最近邻的数量。这是一个用户定义的常数，KNN算法将根据这个K值来决定一个未知数据点的分类。K的