《机器学习算法》汇总.pptx

;报告建议内容;《机器学习》，TomM.Mitchell（汤姆·米切尔）著，曾华军，张银华等译，机械工业出版社，2003年 。;其它参考书;第1章 引 言;学习与智能;什么是机器学习？;机器学习与人工智能;什么是机器学习;What’s is the Learning Problem?;Pedro对学习理解;Machine Learning;机器学习的研究意义;机器学习的重要性！;机器学习的重要性;多学科交叉;重要性：例子—网络安全;搜索引擎;重要性：例子—生物信息学;重要性：例子—数据驱动控制;相关学科对ML的影响;机器学习目前主要的一些研究领域;Machine Learning Topics from Wiki;机器学习简要发展历史回顾;ML的发展历史(1);ML的发展历史(2);ML的发展历史(3);ML的发展历史(4);未来发展趋势;讨论议题;机器学习系统的基本结构 ;学习问题的标准描述;学习问题的标准描述（2）;有监督学习;无监督学习;有监督学习;无监督学习;机器学习的问题;课程内容简介;参考期刊与会议;参考学术期刊及国际会议;一些网络资源 (1);一些网络资源(2);一些网络资源(3);一些网络资源(4);概念学习 给定某一类别的若干正例和反例，从中获得该类别的一般定义。 搜索的观点 在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合。 利用假设空间的偏序结构 算法收敛到正确假设的条件? 归纳学习的本质，从训练数据中泛化的理由?;简介;概念学习任务;概念学习任务（2）;概念学习任务（3）;概念学习任务（4）;术语定义;归纳学习假设;作为搜索的概念学习;假设的一般到特殊序;假设的一般到特殊序（2）;假设的一般到特殊序（3）;h1=<Sunny ? ? Strong ? ? > h2 =<Sunny ? ? ? ? ? > h3 =<Sunny ? ? ? ?Cool? >;Find-S：寻找极大特殊假设;Find-S：寻找极大特殊假设（2）;Find-S：寻找极大特殊假设（3）;变型空间和候选消除算法;变型空间和候选消除算法（2）;变型空间和候选消除算法（3）;变型空间和候选消除算法（4）;变型空间和候选消除算法（5）;变型空间和候选消除算法（6）;变型空间和候选消除算法（7）;变型空间和候选消除算法（8）;图2-7 最终变型空间;变型空间和候选消除的说明;变型空间和候选消除（2）;变型空间和候选消除（3）;概念的应用;概念的应用;归纳偏置;归纳偏置（2）;归纳偏置（3）;归纳偏置（4）;归纳偏置（5）;归纳偏置（6）;归纳偏置（6）;归纳偏置（7）;小结;思考题;思考题;思考题;第3章 决策树学习 (Decision-Tree Algorithm);排名;概 论;提 纲;决策树基本概念;决策树基本概念;决策树基本概念;决策树基本概念;决策树表示法;决策树学习的适用问题;基本的决策树学习算法ID3;ID3算法通过自顶向下构造决策树来进行学习。 ;表3-1 用于学习布尔函数的ID3算法;最佳分类属性;S的所有成员属于同一类，Entropy(S)=0； S的正反样例数量相等，Entropy(S)=1； S的正反样例数量不等，熵介于0，1之间;抛一枚均匀硬币的信息熵是多少？ 解：出现正面与反面的概率均为0. 5，信息熵是 ;用信息增益度量期望的熵降低 属性的信息增益，由于使用这个属性分割样例而导致的期望熵降低 一个属性A相对样例集合S的信息增益Gain (S, A ) 被定义为： Values(A)是属性A所有可能值的集合，Sv是S中属性A的值为v的子集 Gain(S,A)是在知道属性A的值后可以节省的二进制位数； ;<big, red, circle>: + <small, red, circle>: + <small, red, square>: ? <big, blue, circle>: ?;Day;Humidity;110;Day;112;Outlook;114;115;决策树学习的归纳偏置;限定偏置和优选偏置;限定偏置和优选偏置;为什么短的假设优先?;奥坎姆剃刀;为什么短的假设优先;决策树学习的常见问题;避免过度拟合数据;避免过度拟合数据（2）;避免过度拟合数据（3）;避免过度拟合数据（4）;避免过度拟合数据（5）;避免过度拟合数据（6）;错误率降低修剪;决策树学习中错误率降低的修剪效果;规则后修剪;规则后修剪（2）;规则后修剪（3）;规则后修剪（4）;合并连续值属性;合并连续值属性（2）;属性选择的其它度量标准;属性选择的其它度量标准（2）;缺少属性值的训练样例;缺少属性值的训练样例（2）;处理不同代价的属性;C4.5改进的具体方面 ;143;小结和