聚类分析() - 智能科学.ppt

* * * * * * * * * * * * * * * * * * * * * * * * 粒，根据它的名字可知，是实体的集合，这些实体通常来源于数据层。这些数据根据他们的相似性，功能临近性，不可分辨性，一致性等组织在一起；同时，粒也是我们现实的抽象，它的目标是建立高效的以及以用户为中心的对于外界世界的观点，从而支持和帮助我们对周围物理和虚拟世界的感知。因此一个粒不仅仅是实体的聚类或者集合，同时也是这些聚类或者集合的抽象。这是粒和集合或者聚类不同点所在。 * * * * 高级人工智能 史忠植 * TSP蚁群算法 实例 ST70　（TSPLIB） 677.88 677.1096 CHC144　（中国144城市）30354.3 kroB150 (TSPLIB) 26130 26127 * 高级人工智能 史忠植 * 蚁群聚类算法CSI的研究 CSI聚类算法主要步骤； 基本模型简化：概率转换公式； 实验结果 。 * 高级人工智能 史忠植 * 基于蚁群算法的聚类算法 主要步骤： 随机分布待聚类模式； 每只蚂蚁计算当前对象在局部环境的群体相似度，并通过概率转换函数得到拾起或放下对象的概率，以这个概率行动； 经过群体大量的相互作用，最终得到若干聚类中心； 最后收集聚类结果。 * 高级人工智能 史忠植 * 概率转换公式的简化 基本模型 简化模型 * 高级人工智能 史忠植 * 实验结果 * 高级人工智能 史忠植 * 电信消费数据聚类分析实验结果比较 * 高级人工智能 史忠植 * 基于群体智能的文档聚类算法CSIM的研究 为了处理聚类过程中出现的散点以及克服算法的一些随机因素，更是为了提高算法的效率，我们将基于群体智能的文档聚类算法与经典的K均值算法相结合，对算法进行了改进。 混合算法的过程是这样的：首先采用基于群体智能文档聚类算法对聚类文档进行处理，得到初始的聚类中心个数和聚类中心模板，然后运用K均值算法再次聚类。 这样，既保留了群体智能算法的自组织特征，又结合了K均值算法的高效率，同时也克服了两种算法的弱点，如群体智能算法的随机性和K均值算法的聚类中心个数的参数预定及输入顺序敏感。我们将算法缩写为CSIM。 * 高级人工智能 史忠植 * 基于群体智能的文档聚类算法CSIM的研究 数据集 文档数 维数 类别 来源 D1 394 833 Gold,Coffee,Sugar Reuters-21578 D2 323 600 GNP,Livestock,Sugar Reuters-21578 D3 1000 496 Football FM365 网站 * 高级人工智能 史忠植 * 基于群体智能的文档聚类算法CSIM的研究 数据集 聚类中心个数 CSIM 正确率 k-means正确率 CSI正确率 CSI 散点 D1 6.5 16 98.2% 97.4% 99.0% 5.6% 8 11 98.5% 97.2% 99.4% 2.1% 9 10 98.2% 95.4% 92.4% 0.9% D2 8 10 92.5% 88.5% 94.7% 10% 这个结果达到了SONIA系统所用文档聚类算法的水平，而SONIA的算法性能明显高于Scatter/Gather和 TFIDF 方法。 * 高级人工智能 史忠植 * 七、粒度计算 粒度计算从广义上来说是一种看待客观世界的世界观和方法论。 粒度计算的基本思想就是使用粒而不是对象为计算单元，使用粒、粒集以及粒间关系进行计算或问题求解。 * 高级人工智能 史忠植 * 粒度计算 1997年Lotfi A. Zadeh 提出了粒度的概念，他认为在人类认知中存在三种概念：粒度，组织与因果关系。从直观的来讲，粒化涉及到从整体到部分的分解，而组织却是从部分到整体的集成，而因果关系涉及原因与结果之间的联系。对一个事物的粒化就是以可分辨性、相似性、邻近性与功能性集聚有关的事物。 粒度计算是信息处理的一种新的概念和计算范式，覆盖了所有有关粒度的理论、方法、技术和工具的研究，主要用于处理不确定的、模糊的、不完整的和海量的信息。粗略地讲，一方面它是模糊信息粒度理论、粗糙集理论、商空间理论、区间计算等的超集，另一方面是粒度数学的子集。具体地讲，凡是在分析问题和求解问题中，应用了分组、分类、聚类以及层次化手段的一切理论与方法均属于粒度计算的范畴。信息粒度在粒度计算，词计算，感知计算理论和精化自然语言中都有反映 * 高级人工智能 史忠植 * 粒度计算的必要性 从哲学的角度看 Yager和Filev指出“人类已经形成了世界就是一个粒度的观点”以及 “人们观察、度量、定义