第二篇 章 示例学习 机器学习 .pptVIP

第二章 示例学习 示例学习的问题描述（见表2.1,表2.2） 二. 决策树学习（ID3算法） 学习效果的衡量标准（示例学习的优化问题） ID3算法： 输入：例子集（正例、反例）； 输出：决策树 从树的根结点开始，每次都用“最好的属性”划分结点，直到所有结点只含一类例子为止。 3. 信息增益 结点nodei 例子集C, p个正例 n个反例 结点nodei的“信息熵” ;例子号;表2.2;10;outlook;③ Bayesian 方法 ④ 按比例将未知属性例子分配到各子集中： 属性A有值{A1,…,Av}, A值等于Ai的例子数pi和ni，未知属性值例子数分别为pu和nu, 在生成决策树时Ai的例子数 Pi+pu·ratio ;temperature;三. 聚集算法 1. 基本概念： 定义1 （例子）. 设E=D1×D2 ×… ×Dn 是n维有穷向量空间，其中 Dj是有穷离散符号集。E中的元素e=(V1,V2, …,Vn)简记为Vj叫做例子。其中Vj∈Dj。 例如：对表2.1 D1={高，矮}；D2={淡黄，红，黑}；D3={兰，褐} E=D1 × D2 × D3 例子 e=(矮，淡黄，兰） 定义2。选择子是形为[xj=Aj]的关系语句，其中xj为第j个属性，Aj ? Dj; 公式（或项）是选择子的合取式，即 [xj=Aj], 其中 J ? {1, …,n}; 规则是公式的析取式，即 ，其中Li为公式。;一个例子e=V1, …Vn满足选择子[xj=Aj]当且仅当Vj是Aj的元素，即Vj? Aj; e满足一个公式当且仅当它满足该公式的每一个选择子；e满足一条规则当且仅当e满足该规则的至少一个公式。 例子满足选择子（公式、规则）也称做选择子（公式、规则）覆盖该例子。 例如： 例子e=矮，淡黄，兰 满足选择子[头发=淡黄∨红色]和 [眼睛=蓝色] ；满足公式[头发=淡黄∨红色] [眼睛=蓝色] 。