机器学习（慕课版）实验及参考结果 实验3 基于概率密度估计的手写数字识别.pdf

基于概率密度估计的手写数字识别

报告分：（100points）

Attendance(5points)Results(10points)

1.实验课时签到成功（5）1.给出算法正确和可运行程序（10）

2.实验课时没有签到成功（0）2.程序算法原理有部分理解错误（5）

3.程序算法原理和程序都有完全错误（0）

ContentofReport(55points)formatinReport(30points)

1.图表、引用等符合学术规范（15）、语言清晰，逻辑

1.要求点全部高质量完成（55）明确和表述清晰完整(15)

2.图表、引用不符合学术规范(0)

2.要求点完成但有错误（给分点减半）

3.语言清晰，逻辑明确和表述清晰完整(0)

3.要求点没有完成（扣相应给分点的分）

最终本次实验得分成绩=报告分x（时间或算法）性能排序因子

（时间或算法）性能排序因子为：

•top1-3，100%

•Top4-10，95%

•Top11-15，90%

•Top16-最后，80%

性能可以并列第一。

1．问题描述（2points）

给定一组手写字符或数字的图像，用Parzen窗、Gaussian分布和KNN算法，

自动识别图像中的字符或数字是什么。手写识别是一种将手写的数字转换为计算

机可以理解的形式的过程。可以用于自动化文本识别、数字化文档处理、自动邮

件分类等应用。

2．问题的本质和分析（10points）

2.1Parzen窗

Parzen窗口方法是一种非参数概率密度估计方法，通常用于估计数据的概

率密度函数。Parzen窗是利用直方图进行概率密度估计提高版本：

1−

(|)

=∑=1(ℎ)

通常是一个高维向量，表示想要估计条件概率的数据点。Parzen窗通常将

整个图像视为一个高维向量，并通过窗口内的数据来估计每个像素值的概率密度，

而不仅仅是某个位置的像素值。是数据点数量，表示样本中有多少个数据点。

用来估计密度的区域的大小，取决于窗口函数覆盖的区域大小。小将导致

更尖锐的密度估计，较大将导致更平滑的密度估计。

ℎ是窗口的宽度,应该适当，过小容易过拟合，过大会欠拟合。

核函数()的选择:为满足概率密度函数要求:

()()

,≥0且∫,=1

在高维数据集上计算Parzen窗效率较为困难，计算密度估计需要对所有数

据点应用核函数，这可能会导致计算复杂度较高。可以考虑使用适当的数据结构

和加速算法来提高计算效率。

也可以使用核函数的性质来进行加速，例如在某些情况下可以使用快速傅里

叶变换（FFT）来计算高斯核函数的卷积。

2.2多元高斯分布：

11−1

()−2(−)Σ(−)

;,Σ=1

(2)2|Σ|2

通常用来表示整个图像作为一个高维向量，而不是图像中的特定像素位置

的像素值，这个高维向量包括图像中的各个像素值，

协方差矩阵Σ通常不需要进行简化，它描述