Lecture 5 分类算法－2014.ppt

训练算法 对于每个属性，计算熵E及划分信息S，令ES E*S; 对于每个类 c Temp ?Dc ，I ? Dc~ ? D ? Dc; While |Temp | 任意挑选Temp中的一个实例I； V ? Learning_One_Feature_Set I, ES, Dc~ ; 如果V不属于S，则将其加入S; 从Temp中删去I的所有关于V的邻居; 返回S; 学习一个特征子集 Attribute_Set ? 所有属性 ; 计算 Attribute_Set 中每一个属性关于Dc~ 的质量度量; While |Dc~ | |Attribute_Set | V ? V ? Amin | Amin 在Attribute_Set 中质量度量值最小 ； Attribute_Set ? Attribute_Set － Amin ; 从Dc~ 中删去被Amin区分开的实例 ，即 I?Amin?IAmin的实例I?; 重新计算 Attribute_Set 中每一个属性关于Dc~ 的质量度量 ; 返回 V; 分类阶段 给定一个待分类实例I，特征子集集合S，训练集D，CRN将根据I在每个特征子集V上邻居的类分布纯度、邻居个数及V的大小来共同决定I的类别。 邻居的混杂度 Nc V : 一个待分类实例I在V上类为c的邻居数目，SUM为Nc V 之和（即对c求和），即