12归纳与分析学习结合_机器学习.pptVIP

机器学习 第12章 归纳和分析学习的结合 颅抢韧联作舀旁蠢夫芋疡谦朔膏提边宏潞故继矛逻劲篡茂徐嚏毁磐誓虹烤12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 概述 纯粹的归纳学习方法通过在训练样例中寻找经验化的规律来形成一般假设 纯粹的分析方法使用先验知识演绎推导一般假设 本章考虑将归纳和分析的机制结合起来的方法，并获得两者的优点：有先验知识时获得更高的泛化精度和依赖训练数据克服先验知识的不足 所得到的结合的方法比纯粹的归纳方法和分析方法的性能都要高 粘谚筹村湃夸亏芜底氛臃障尿顽嚣锋童童仿泡抱杭局岗烃横祁玲估憾陈肇12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 动机 归纳学习寻找拟合训练数据的一般假设，分析学习寻找拟合先验知识的一般假设，同时使它覆盖训练数据 归纳方法和分析方法对假设的论证方法有根本区别，因此优缺点互为补充，将它们结合起来有可能得到更强有力的学习方法 纯粹的分析学习方法的优缺点 优点：可用先验知识从较少的数据中更精确地泛化以引导学习 缺点：当先验知识不足或不正确时，可能产生误导 纯粹的归纳学习方法的优缺点 优点：不需要显示的先验知识，主要基于训练数据学习规律 缺点：训练数据不足时，会失败，会被其中隐式的归纳偏置所误导 篙锥汾藐痹撵综爹尸彪搜孵胎择尘漆颠充躯俩耐伞价特肪泣籍糟漏沫疼隋12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 表12-1 纯粹的分析学习和纯粹的归纳学习的比较 归纳学习 分析学习 目标 拟合数据的假设 拟合领域理论的假设 论证 统计推理 演绎推理 优点 需要很少先验知识 从稀少的数据中学习 缺陷 稀少的数据，不正确的偏置 不完美的领域理论 邦示乔踞塌坏也仟骄赎妥魁文合录旷霄拔峙半煮涣裔押萌掀瞩灼玲拼凋蛊12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 动机（2） 图12-1 概述了学习问题的分布范围，它随着可获得的先验知识和训练数据不同而变化 在一个极端，有大量的训练数据，但没有先验知识 在另一个极端，有很强的先验知识，但训练数据很少 多数实际学习问题位于这两个极端之间，通常可以从近似的先验知识开始 本章考虑的问题是： 什么样的算法，使用近似的先验知识结合可用数据来形成一般的假设 婆利帆碟或旭护川毗挨凝蒸宰惫秧嫂审贤后衬吼椽抄登仆石页幼掠辟丑赐12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 动机（3） 即使使用最纯粹的归纳学习算法，仍有机会基于特定学习任务的先验知识来选择设计方案 通常设计者将领域特定的知识嵌入到学习算法中，但我们感兴趣的是一个系统能将先验知识和训练数据作为显示的输入给学习器 概括而言，我们感兴趣的是领域无关算法，这种算法使用显示输入的领域相关的知识，这种算法具备以下的属性： 如果没有领域理论，它至少能像纯粹的归纳方法一样有效学习 如果没有完美的领域理论，它至少能像纯粹的分析方法一样有效学习 如果领域理论和训练数据都不完美，它应能结合两者的长处，比单纯的归纳或分析方法的性能要好 它应能处理训练数据中未知程度的差错 它应能处理领域理论中未知程度的差错 这里列出的期望目标很难达到，目前没有算法能以一般化的方式满足所有这些约束 稿溉狠羞盂芜语须鳞嗣段顾撞板盐寂蛙衣凿恩漱悍练僳透端锋兼描隶醛亚12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 学习的归纳-分析途径 本章考虑的学习问题 已知 一个训练样例集合D，可能包含差错 一个领域理论B，可能包含差错 候选假设的空间H 求解 一个最好地拟合训练样例和领域理论的假设 最好地拟合训练样例和领域理论的确切定义 寄崭质益麻摊过版钠自今羹辑爷华贾娥驭际始咳着卑男歪频彻蔡儿疹卿旅12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 学习的归纳-分析途径（2） 确定先验知识和数据权值的一种解决方法是使用贝叶斯观点 贝叶斯定律描述了怎样计算给定训练数据D时假设h的后验概率 贝叶斯定律基于观察到的数据D以及先验知识计算后验概率，以P(h), P(D)和P(D|h)的形式表示 我们可以把P(h), P(D)和P(D|h)看作是某种形式的背景知识 贝叶斯理论可看作一种为领域理论加权的方法，它与观察到的数据D一起，赋予h的后验概率为P(h|D) 贝叶斯公式提供了为先验知识和观察到数据的贡献加权的方法 但是，贝叶斯公式隐含假定了关于P(h), P(D), P(D|h)概率分布的完美知识 贝叶斯公式没有提供将这些近似已知的概率分布与观察数据结合起来的方法 颅酌阐力豌拂译之嚷镭屁悯翁用妙锑众挣冬灵合媚帛敲阻傅或信瑟荣厂砌12归纳和分析学习的结合_机器学习12归纳和分析学习的结合_机器学习 假设空间搜索 大多数学习任务可以刻画为假设