数据挖掘复习..docVIP

学习框架的基本概念，了解监督学习、非监督学习、半监督学习、强化学习等学习类型的区别。 有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。 无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习 机器学习中的方法或范式（paradigm）有很多种分类体系，例如从学习的方式分，有例子中学习、类比学习、分析学习等，但一般来说，现在研究得最多、被认为最有用的是从例子中学习。对从例子中学习，又有很多分类方法，例如从学习的主动性方面，可以分为主动学习和被动学习；从训练过程启动的早晚，可以分为迫切学习和惰性学习等等。最常见的对“从例子中学习”的方法的分类是监督学习、非监督学习和强化学习，这是从训练样本的歧义性（ambiguity）来进行分类的。对监督学习来说，它通过对具有概念标记（conceptnbsp;label）的训练例进行学习，以尽可能正确地对训练集之外的示例的概念标记进行预测。这里所有训练例的概念标记都是已知的，因此训练样本的歧义性最低。 对非监督学习来说，它通过对没有概念标记的训练例进行学习，以发现训练例中隐藏的结构性知识。这里的训练例的概念标记是不知道的，因此训练样本的歧义性最高。对强化学习来说，它通过对没有概念标记、但与一个延迟奖赏或效用（可视为延迟的概念标记）相关联的训练例进行学习，以获得某种从状态到行动的映射。这里本来没有概念标记的概念，但延迟奖赏可被视为一种延迟概念标记，因此其训练样本的歧义性介于监督学习和非监督学习之间。需要注意的是，监督学习和非监督学习从一开始就是相对的，而强化学习在提出时并没有从训练样本歧义性的角度考虑其与监督学习和非监督学习的区别，因此，一些早期的研究中把强化学习视为一种特殊的非监督学习。事实上，对强化学习的定位到目前仍然是有争议的，有的学者甚至认为它是与“从例子中学习”同一级别的概念。从训练样本歧义性角度进行的分类体系，在近几年可望有一些扩展，例如多示例学习等从训练样本歧义性方面来看很特殊的新的学习框架有可能会进入该体系。但到目前为止，没有任何新的框架得到了公认的地位。另外，半监督学习也有一定希望，它的障碍是半监督学习中的歧义性并不是与生俱来的，而是人为的，即用户期望用未标记的样本来辅助对已标记样本的学习。这与监督学习、非监督学习、强化学习等天生的歧义性完全不同。半监督学习中人为的歧义性在解决工程问题上是需要的、有用的（对大量样本进行标记的代价可能是极为昂贵的），但可能不太会导致方法学或对学习问题视点的大的改变。不同的分类体系是相交的，例如，监督学习方法既可能是迫切的（例如大多数神经网络、决策树等），也可能是惰性的（例如k近邻等）。另外，分类体系也不是绝对的，例如前面提到的强化学习的情况 贝叶斯定理、以及利用贝叶斯定理进行决策的理论依据。 贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～1761)曾提出计算条件概率的公式用来解决如下一类问题：假设H[,1],H[,2]…,H[,n]互斥且构成一个完全事件，已知它们的概率P(H[,i]),i=1,2,…,n,现观察到某事件A与H[,1],H[,2]…,H[,n]相伴随而出现，且已知条件概率P(A/H[,i])，求P(H[,i]/A)。 贝叶斯公式（发表于1763年）为： P(H[,i]/A)=P(H[,i])*P(A│H[,i])/{P(H[,1])*P(A│H[,1]) +P(H[,2])*P(A│H[,2])+…+P(H[,n])*P(A│H[,n])} 这就是著名的“贝叶斯定理”，一些文献中把P(H[,1])、P(H[,2])称为基础概率，P(A│H[,1])为击中率，P(A│H[,2])为误报率[1][2]。 贝叶斯决策（Bayesian Decision Theory）就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。 贝叶斯决策属于风险型决策，决策者虽不能控制客观因素的变化，但却掌握其变化的可能状况及各状况的分布概率，并利用期望值即未来可能出现的平均状况作为决策准则。 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是： 1、已知类条件概率密度参数表达式和先验概率。 2、利用贝叶斯公式转换成后验概率。 3、根据后验概率大小进行决策分类。 概率密度估计的方法，参数化概率密度估计，非参数化概率密度估计。掌握非参数概率密度估计方法的基本思想。 参数估