流形学习的方差最小化准则-计算机应用技术专业毕业论文.docxVIP

浙江大学硕士学位论文摘要 浙江大学硕士学位论文 摘要 现在许多机器学习学习问题中，特征的维度通常都非常高，并且数据类别标签的 获取非常困难或昂贵。在一个高维度的小样本数据集上进行学习通常都会导致很严 重的过拟合。这个问题有两种流行的解决方案。一种是使用主动学习和半监督学习 来最大化带类别标签的数据的价值并挖掘无类别标签数据的潜在价值。另一种方案 则是流形学-7：通过直接在数据的本征维度上进行几何分析来避免维度过高的问题。 这里的关键在于：对于许多实际生活中的高维数据，可以很自然地假设数据点是分布 在一个低维流形上的。流形的本征维度通常比外围欧氏空间的维度低得多，因此直 接分析流形的本质几何性质，可以有效地避免维度灾难的问题。 本文我们将提出一个通用的框架来将两种方案进行统一。我们将在机器学-7 的过程中显式地考虑到数据的流形结构，在此基础上，通过一个方差最小化的准则来 求得最稳定的解。我们的工作基于拉普拉斯正则化的半监督学习算法，这是一个基 于流形假设的半监督学-7算法。通过分析算法及其解的统计特性，我们提出一个方 差最小化的准则，来最大化学--j的稳定性。学习问题的稳定性和算法的泛化能力是 密切相关，这在学-7理论中已经是众所周知的事实。 基于这个准则，我们将实现具体的主动学-7和特征选择算法。特征选择算法能 够在保持原始特征维度可解释性的前提下有效地降低数据的维度。而主动学-7算法 则可以最大化类别标签的价值。两个算法都基于我们的方差最小化准则，因此都具 有很好的抗过拟合能力。虽然他们的目标函数都是NP难问题，但是我们还提出了 高效的近似算法可以对目标函数进行求解。通过在实际数据集上进行大量的试验， 证明了我们算法相比于基准算法和主流算法得到了很大的性能提升。 关键词：试验设计主动学习半监督学习特征选择 Ⅱ 摘要Abstract 摘要 Abstract In many modem machine learning tasks，the features are usually very high—dimensional and the labels are expensive to obtain．Learning on a small sample ofhigh-dimensional data usually leads to severe overfitting．There are two popular solutions for this problem．One is using active learning and semi·supervised learning to maximize the utility of the labels and exploit the value of unlabeled data．Another is manifold learning，which analyzes the intrinsic geometry of the data distribution．Its key point is that many high—dimensional real． world datasetslie on a low-dimensional manifold．The intrinsic dimension is usually much lower than the dimension of the ambient Euclidean space，SO by working with the intrinsic geometry,we can effectively avoid the curse of dimensionality． In this thesis，we develop a general framework to unify the two solutions．We explicitly take the intrinsic manifold structure into consideration，and seek the most stable learning process with a criterion ofvariance minimization．Specifically,We will work with Laplacian regularized semi。supervised learning，which is one of the most popular semi·supervised learning paradigms with the cluster．assumption on the data．We then analyze th