第五章 机器学习.pptVIP

第五章机器学习第四节遗传式学习四、水桶排队算法9、调用遗传学习算法改进知识库，得到一个新的知识库10、输出界面向外部环境输出消息表中的消息，t:=t+1，转1注：水桶排队算法可作为信任分配机制。第30页，共42页，星期日，2025年，2月5日第1页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习一、基本含义给定关于某个概念的一系列已知的正例和反例，从中归纳出一个一般的概念描述的过程。基本操作是泛化(Generalization)和特化(Specialization)二、分类1、实例学习也称概念获取，确定概念的一般描述，这个描述应能解释所有给定的正例并排除所有给定的反例。这些正例和反例由信息源提供，是有教师学习。第2页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习二、分类2、观察与发现学习也称描述的泛化，产生能解释所有或大多数观察到的事实的规律和规则。这类学习包括概念聚类、构造分类、发现定理、形成理论等。第3页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习三、归纳学习方法有变型(版本)空间、决策树方法、AQ11算法等。第4页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习四、变型(版本)空间方法(VersionSpace)以整个规则空间为初始的假设规则集合H，依据训练例子中的信息，对集合H进行泛化和特化处理，逐步缩小集合H。Mitchell假定这个空间是一偏序结构，并将单个概念学习定义为在这个空间的搜索。泛化特化更一般更特殊没有描述GS第5页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习五、AQ归纳学习算法生成的选择假设的析取，覆盖全部正例，而不覆盖任何反例。AQ11算法搜索规则空间，反复应用消除候选元素，得到尽可能一般的规则，可包含多概念学习。注：AQ11的原理是将样本集构成一个逻辑公式。构成的方法是根据决策属性对样本集的划分，所有正样本与所有反样本构成逻辑公式Ep?~En，这个逻辑公式就是对正样本集的表示，其中每个样本是“属性—值”对的合取连接式。六、产生与测试方法仅通过正例学习概念，引入“概念窗口”概念。第6页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习七、决策树学习决策树可以用来表示析取概念。1、CLS学习算法从一个空决策树开始，通过增加决策结点，逐渐精化，直到树正确分类全部训练实例。其缺陷是学习问题不能太大。2、ID3学习算法——Quinlan1979采用训练实例的子集(即，可选择窗口)，通过属性，使用熵概念，来形成决策树。实质是构造一株熵值下降平均最快的判定树。注：ID3的数学基础是商集。第7页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习七、决策树学习3、ID4学习算法在每个可能的决策树结点创造一系列表。每个表由全部未检测属性值和每个值的正例和反例数组构成。当处理一个新例时，每个属性值的正例和反例递增计量。即，递增概念归纳。4、ID5学习算法抛弃旧的检测属性下面的子树，从下面选出检测属性形成树。5、C4.5和C5处理连续属性。第8页，共42页，星期日，2025年，2月5日第五章机器学习第二节归纳学习八、归纳学习的计算理论学习算法的样本复杂性和计算复杂性。Gold学习理论和Valiant学习理论。Valiant——关于可学习性的理论：概率地、近似地、正确地可学习的(PACProbably、Approximately、Correct)PAC学习模型。第9页，共42页，星期日，2025年，2月5日第五章机器学习第三节分析学习一、类比学习1、类比——比喻类比是人类重要的认知方法，是经验决策过程中常用的推理方式，是一种允许知识在具有相似性质的领域中进行转换的学习策略。2、类比学习把两个或两类事物或情形进行比较，找出它们在某一抽象层次上的相似关系，并以这种关系为依据，把某一事物或情形的有关知识加以适当整理(或变换)对应到另一事物或情形，从而获得另一事物或情形的知识，称为类比学习。第10页，共42页，星期日，2025年，2月5日第五章机器学习第三节分析学习一、类比学习2、类比学习注：1)类比学习的核心技术是相似性的定义和度量。