超大规模的短文本聚类研究-计算机技术专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 近几年，由于移动互联网的逐步成长，以及计算机技术的普及应用，此刻的社会正以我 们想象不到的速度产生数据。一些新型交流平台每分钟发布的信息高达 10 万条之多，这些平 台以 BBS、微信、Twitter 及微博为代表。这些海量的数据时时刻刻都影响着我们的生活，它 成为人们获取信息来源的有效途径，但是这些数据都具有数据量大、多样化、动态性及字数 少等特点，人们因此也称它为短文本数据。目前最重要的是如何从这些海量的短文本数据中 快速、准确、方便地挖掘出用户隐藏的信息，以便及时了解用户的需要和创造商机。所以， 在这种情况下诞生了文本挖掘技术，文本挖掘可以从海量的文本数据出搜索出用户隐藏的有 价值的信息，这正是我们挖掘的目的。而文本挖掘技术的核心就是算法，一个好的算法可以 提高挖掘的速度及质量，由于要考虑到这些短文本数据具有海量性及多样性的特点，而聚类 又是基于无监督学习的，所以适合于短文本的处理，基于以上各方面的考虑本文提出了两个 解决方法： (1)本文选取的聚类算法是 K-means，因为该算法效率高、容易实现，且该算法在计算各 个数据点和簇形心距离时都是独立操作的，这样可以实现算法的并行化。但是该算法也有其 缺点，如初始值的选择以及陷入局部最优等等。由于粒子群(PSO)算法具有全局寻优的能力， 所以，本文利用 PSO 来改进该算法以便克服该算法的缺点。 (2)处理海量数据远远超出 IT 架构的计算能力，面对这一难题，本文引入了 Hadoop 集群 架构，因为在 Hadoop 系统上可以实现海量数据的分块存储，将这些海量的数据分布在不同 的机器上，同时存储在不同计算机上的数据又可以实现并行处理，这样不仅解决了单机模式 内存不足的问题，而且超大规模数据的处理耗时长的问题也得到了解决。 根据上面的解决方法，要想实现大规模短文本的处理，需要可以实现并行化的高效率的 聚类算法，综合各方面的因素，本文提出了分布式并行化聚类算法 DPSOKmeans。经过试验 表明该聚类算法在 Hadoop 框架上运行，有很好的收敛行、聚类质量也比较高及可以处理海 量的数据等等。但是该算法还是有一定的缺点的，如初始值的选择会影响聚类结果，可能会 出现空簇的现象，这个缺点会在下一步研究中去解决。 关键词: 海量性 ，短文本 ，聚类，K-means ，PSO，Hadoop I Abstract With the rapid development of the Internet and computer technology, information explosion ways to grow,such as: Twitter and Sina Weibo, as the representative of the new development platform. These platforms every minute amount of information released more than 1000,000.Now we are living in the era of big data. These vast amounts of data affect our lives.It’s an effective way to obtain information . But these data have lots of characteristics,such as massive, diverse, dynamic ,less words and so on. Therefore people call it for short text data.