聚类方法(续)讲解.ppt

　　如图10.53所示是一棵关于花类植物的分类树，共有3个二元属性，即male（是否有雄蕊）、wings（是否有翼瓣）和nocturnal（是否夜间开花），每个对象用二元属性值列表来表示，每个概念（结点）表示一个对象集，每个结点旁的虚线方框表示各属性的计数。　　 一棵分类树 　　例如，计数为[1，3，3]的结点表示该概念中有1个对象是雄蕊，3个对象有翼瓣，3个对象是夜间开花的。概念描述就是对应结点的分类条件概率，例如，若一个对象属于结点C1，它有雄蕊的可能性是1/4即0.25，它有翼瓣和夜间开花的可能性都是3/4=0.75，因此，结点C1的概念描述简写成[0.25,0.75,0.75]，对应C1的条件特征的可能性，也就是：p(x|C1)=[0.25,0.75,0.75]。 一棵分类树 　　为了利用分类树来对一个对象进行分类，需要利用一个匹配函数来寻找“最佳的路径”，COBWEB算法用了一种启发式的评估衡量标准。 　　类内的相似性用p(Ai=vij|Ck)来衡量，它表示Ck类内Ai属性为vij的条件概率，该条件概率越大，同一类中具有相同属性值对（Ai，vij）的对象就越多。因此，该（Ai，vij）对Ck类的内部对象的预测能力就越强。 　　类间的相异性用p(Ck|Ai=vij)来衡量，它表示（Ai，vij）对象属于Ck类的条件概率，该概率越大，在其他类中同样具有该属性值对（Ai，vij）的对象就越少。因此，该（Ai，vij）对Ck类的预测能力就越强。 　　定义划分效用（Partition Utility，PU）如下： PU表示了给定的划分能够正确猜测出属性值的期望数目。 所以， 　　COBWEB采用以下启发式估算度量即分类效用（Category Utility，CU）来指导树的建立过程。 　　其中，n是树的某个层次上形成一个划分{C1，C2，…，Cn}的结点、概念或“种类”的数目。 　　换句话说，分类效用是指PU相对于未知划分情况下正确猜测的期望数目（对应上式中分子的第二项）的增量。分类效用表达了簇内的相似性和簇间的相异性。 　　COBWEB算法的优点是： 　　可以自动修正划分中类的数目；不需要用户提供输入参数。 　　其缺点是： 　　COBWEB基于这样一个假设：在每个属性上的概率分布是彼此独立的。但这个假设并不总是成立。且对于偏斜的输入数据不是高度平衡的，它可能导致时间和空间复杂性的剧烈变化，不适用于聚类大型数据库的数据。 　　【例10.15】有如表10.19所示的数据集，不考虑Play属性部分，采用COBWEB算法建立分类树的过程如下。 No TRUE High Mild Rainy n Yes FALSE Normal Hot Overcast m Yes TRUE High Mild Overcast l Yes TRUE Normal Mild Sunny k Yes FALSE Normal Mild Rainy j Yes FALSE Normal Cool Sunny i No FALSE High Mild Sunny h Yes TRUE Normal Cool Overcast g No TRUE Normal Cool Rainy f Yes FALSE Normal Cool Rainy e Yes FALSE High Mild Rainy d Yes FALSE High Hot Overcast c No TRUE High Hot Sunny b No FALSE High Hot Sunny a Play （是否出去玩） Windy （是否有大风） Humidity （湿度） Temp （温度） Outlook （天气） 对象 编号 　　（1）插入对象a，将对象a放在一个新类（结点）中，如图10.55（a）所示。 　　（2）插入对象b，将对象b放在一个新类中，如图10.55（b）所示。 　　（3）插入对象c，有3种情况，如图10.56所示，其中第3种情况CU值最高，则插入对象c作为根结点的孩子结点。 　　（4）插入对象d、e，其结果是建立d、e的结点并均作为根结点的孩子结点。 　　（5）插入对象f，由于对象f与对象e很相似（前3个属性值相同），求CU值后将对象f和对象e放在相同的类下，如图10.57所示。 　　（6）依次插入所有余下的对象，得到最终的分类树如图10.58所示。 　　将分类树的聚类结果与表中Play属性值进行对比，发现很多分类错误，如将对象b、k划在同一类中，而它们的Play属性值正好相反。 　　这是因为COBWEB算法基于Outlook、Temp、Humidity和Windy各属性相互独立来进行聚类的，而表10.19中列出的经验知识中各属性之间是有关联关系的，如天气的好坏肯