一种消除孤立点的微博热点话题发现方法.pdfVIP

第３１ 卷第１ 期 计算机应用与软件 Ｖｏｌ３１ Ｎｏ．１ ２０１４年１ 月 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｊａｎ．２０１４ 一种消除孤立点的微博热点话题发现方法 赖锦辉 　梁　松１ ２ １ （广东石油化工学院实验教学部计算机中心　广东 茂名５２５０００） ２ （广东石油化工学院计算机与电子信息学院　广东 茂名５２５０００） 摘　要　　微博具有数量多、字数少、话题广泛等特点，导致数据中孤立点较多，对微博热点话题聚类算法产生不利影响，为此， 提出一种消除孤立点的微博热点话题发现方法。首先消除数据集中的孤立点，然后采用ＣＵＲＥ（Ｃｌｕｓｔｅｒｉｎｇ Ｕｓｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｖｅｓ） 算法对剩余有聚类价值的数据进行聚类，最后通过实例验证算法的有效性。结果表明，相对于对比聚类算法，该算法降低聚类结 果对孤立点的敏感度，提高了微博热点话题发现的准确性，并提高了算法的运行效率，更适合应用于大规模的微博热点话题 发现。 关键词　　微博热点话题　孤立点　ＣＵＲＥ 算法　发现 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０１．０２８ Ａ ＭＩＣＲＯＢＬＯＧＧＩＮＧ ＨＯＴ ＴＯＰＩＣＳ ＤＩＳＣＯＶＥＲＹ ＭＥＴＨＯＤ ＢＡＳＥＤ ＯＮＯＵＴＬＩＥＲＳ ＥＬＩＭＩＮＡＴＩＯＮ Ｌａｉ Ｊｉｎｈｕｉ 　Ｌｉａｎｇ Ｓｏｎｇ１ ２ １ （Ｃｏｍｐｕｔｅｒ Ｃｅｎｔｅｒ，Ｇｕａｎｇｄｏｎｇ ＵｎｉｖｅｒｓｉｔｙｏｆＰｅｔｒｏｃｈｅｍｉｃａｌ Ｔｅｃｈｎｏｌｏｇｙ，Ｍａｏｍｉｎｇ５２５０００，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ） ２ （Ｃｏｌｌｅｇｅ ｏｆＣｏｍｐｕｔｅｒａｎｄＥｌｅｃｔｒｏｎｉｃ Ｉｎｆｏｒｍａｔｉｏｎ，Ｇｕａｎｇｄｏｎｇ ＵｎｉｖｅｒｓｉｔｙｏｆＰｅｔｒｏｃｈｅｍｉｃａｌ Ｔｅｃｈｎｏｌｏｇｙ，Ｍａｏｍｉｎｇ５２５０００，Ｇｕａｎｇｄｏｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｍｉｃｒｏｂｌｏｇｇｉｎｇ ｈａｓ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆｌａｒｇｅ ｎｕｍｂｅｒ，ｆｅｗｅｒｗｏｒｄｓ ａｎｄ ｗｉｄｅ ｒａｎｇｅ ｏｆｔｏｐｉｃｓ，ｔｈｅｓｅ ｌｅａｄ ｔｏ ｑｕｉｔｅ ａｆｅｗ ｉｓｏｌａｔｅｄ ｐｏｉｎｔｓ （ｏｕｔｌｉｅｒｓ）ｉｎｍｉｃｒｏｂｌｏｇｇｉｎｇｄａｔａｗｈｉｃｈｈａｖｅ ａｄｖｅｒｓｅ ｅｆｆｅｃｔｏｎｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｏｆｍｉｃｒｏｂｌｏｇｇｉｎｇｈｏｔｔｏｐｉｃｓ．Ｔｈｅｒｅｆｏｒｅ，ｗｅｐｒｏｐｏｓｅ ａ ｍｉｃｒｏｂｌｏｇｇｉｎｇ ｔｏｐｉｃ ｄｉｓｃｏｖｅｒｙｍｅｔｈｏｄｗｈｉｃｈｉｓｂａｓｅｄｏｎｏｕｔｌｉｅｒｓｅｌｉｍｉｎａｔｉｏｎ．Ｆｉｒｓｔ，ｔｈｅ ｏｕｔｌｉｅｒｓａｒｅｒｅｍｏｖｅｄｆｒｏｍｄａｔａｓｅｔ，ａｎｄｔｈｅｎｔｈｅ ＣＵＲＥ ａｌｇｏｒｉｔｈｍ ｉｓ ｕｓｅｄ ｔｏ ｃｌｕｓｔｅｒ ｔｈｏｓｅ ｄａｔａ ｒｅｍａｉｎｅｄ ａｎｄ ｈａｖｉｎｇ ｃｌｕｓｔｅｒｉｎｇ ｖａｌｕｅ，ｆｉｎａｌｌｙ ｔｈｅ ｖａｌｉｄｉｔｙ ｏｆ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｓ ｖｅｒｉｆｉｅｄ ｂｙ ｅｘａｍｐｌｅｓ． Ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ，ｃｏｍｐａｒｅｄ ｗｉｔｈ ｃｏｎｔｒａｓｔｉｖｅ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ，ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｒｅｄｕｃｅｓ ｔｈｅ ｓｅｎｓｉｔｉｖｉｔｙ ｏｆ ｃｌｕｓｔｅｒｉｎｇ ｒｅｓｕｌｔ ｏｎ ｏｕｔｌｉｅｒｓ，ｉｍｐｒｏｖｅｓ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆｍｉｃｒｏｂｌｏｇｇｉｎｇ ｈｏｔ ｔｏｐｉｃｓ ｄｉｓｃｏｖｅｒｙ，ａｎｄ ｒａｉｓｅｓｔｈｅ ｏｐｅｒａｔｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ｏｆｔｈｅ ａｌｇｏｒｉｔｈｍ，ｉｔ ｉｓ ｍｏｒｅ ｓｕｉｔａｂｌｅ ｆｏｒ ａｐｐｌｙｉｎｇ ｉｎ ｌａｒｇｅｓｃａｌｅ ｍｉｃｒｏｂｌｏｇｇｉｎｇ ｈｏｔ ｔｏｐｉｃｓ ｄｉｓｃｏｖｅｒｙ． Ｋｅｙｗｏｒｄｓ　　Ｍｉｃｒｏｂｌｏｇｇｉｎｇ ｈｏｔ ｔｏｐｉｃｓ　Ｏｕｔｌｉｅｒｓ　ＣＵＲＥ ａｌｇｏｒｉｔｈｍ　Ｄｉｓｃｏｖｅｒｙ 现不规则形状；Ｋ 均值算法等对数据集中的噪声、孤立点敏 ［９］ ０　引　言 感 。ＣＵＲＥ算法是一种适用于大型数据集的层次聚类算法， 不仅能够处理非球形、类大小差别比较大的数据，而且采用抽样 随着Ｗｅｂ２．０技术和社会网站不断发展，互联网进入了一 和分割预聚类方案，降低了总的数据量，但并不影响聚类结果的 个完全崭新的“自媒体”时代。以新浪微博、Ｔｗｉｔｔｅｒ等为代表的 质量，提高了运算效