第9章无监督学习.PDFVIP

第 章 无监督学习 大脑有大约 个突触，我们只能活大约 秒。所以我们 有比数据更多的参数。这启发了我们必须进行大量无监督学习 的想法，因为感知输入（包括本体感受）是我们可以获得每秒 维约束的唯一途径。 ff 更早的正式描述见 无监督学习 （ ）是指从无标签的数据中学习出一些 有用的模式。无监督学习算法一般直接从原始数据中学习，不借助于任何人工 给出标签或者反馈等指导信息。如果监督学习是建立输入输出之间的映射关 系，无监督学习就是发现隐藏的数据中的有价值信息，包括有效的特征、类别、 结构以及概率分布等。 典型的无监督学习问题可以分为以下几类： 无监督特征学习 无监督特征学习 （ ）是从无标 签的训练数据中挖掘有效的特征或表示。无监督特征学习一般用来进行 特征学习也包含很多的 降维、数据可视化或监督学习前期的数据预处理。 监督学习算法，比如线 密度估计 密度估计 （ ）是根据一组训练样本来估计样本空 性判别分析等。 间的概率密度。密度估计可以分为参数密度估计和非参数密度估计。参数 密度估计是假设数据服从某个已知概率密度函数形式的分布（比如高斯 分布），然后根据训练样本去估计概率密度函数的参数。非参数密度估计 是不假设数据服从某个已知分布，只利用训练样本对密度进行估计，可以 进行任意形状密度的估计。非参数密度估计的方法有直方图、核密度估 计等。 聚类 聚类 （ ）是将一组样本根据一定的准则划分到不同的组（也称 为集群 （ ））。一个比较通用的准则是组内的样本的相似性要高于 组间样本的相似性。常见的聚类算法包括 算法、谱聚类等。 年 月 日 第 章 无监督学习 和监督学习一样，无监督学习方法也包含三个基本要素：模型、学习准则 和优化算法。无监督学习的准则非常多，比如最大似然估计、最小重构错误等。 在无监督特征学习中，经常使用的准则为最小化重构错误，同时也经常对特征 进行一些约束，比如独立性、非负性或稀释性等。而在密度估计中，经常采用 最大似然估计来进行学习。 本章介绍两种无监督学习问题：无监督特征学习和密度估计。 无监督特征学习 无监督特征学习是指从无标注的数据中自动学习有效的数据表示，从而能 够帮助后续的机器学习模型更快速地达到更好的性能。无监督特征学习主要方 法有主成分分析、稀疏编码、自编码器等。 主成分分析 主成份分析 （ ， ）一种最常用的数据降 维方法，使得在转换后的空间中数据的方差最大。如图所示的两维数据，如 果将这些数据投影到一维空间中，选择数据方差最大的方向进行投影，才能最 大化数据的差异性，保留更多的原始数据信息。 图 主成分分析 假设有一组 维的样本 ，我们希望将其投影到一维空 间中，投影向量为 。不失一般性，可以限制 的模为，即 。 邱锡鹏：《神经网络与深度学习》