通过多个实例调查挖掘在线社区的一般过程和方法-lamda-南京大学.pdfVIP

通过多个实例调查挖掘在线社区的一般过程和方法 范颖 (南京大学 计算机科学与技术系, 南京 210093) Survey the General Process and Basic Method of Mining Online Communities by Several Examples * Ying Fan (Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China) Abstract: this article analyzes the general process and basic method of mining online communities through examples like Sina sports forum, Amason recommendation system, Orkut social network, online hate groups and so on. Finally, summarize the significance of mining online communities . Key words: data mining; online community; 摘 要: 本文通过对Sina 在线体育论坛、Amason 推荐系统、Google Orkut 网站，Digg 在线论坛、博客等实 例进行分析，探讨挖掘在线社区的一般过程和基本方法，总结了挖掘在线社区的意义。 关键词: 数据挖掘;在线社区; 1 引言 从在线社区(online community) 中进行数据挖掘，挖掘方法有哪些？挖掘的一般过程是什么？挖掘的结果 有什么意义？下面，将分别从上几个方面介绍一下数据挖掘在在线社区中的应用。 2 对在线社区进行挖掘数据挖掘的基本方法 2.1 挖掘文本数据 大量信息都是以文本形式存储，如新闻稿件、科技论文、书籍、数字图书馆、Email 消息、博客和网页。 [1] 因此，要挖掘 online community ，与挖掘文本数据密切相关，如对在线论坛热点进行预测和分析 , 以及对 [2] online hate group 进行调查研究 等。文本挖掘研究非常活跃，其首要目标是从文本中导出高质量的信息。通 常，这通过诸如统计模式学习、主题建模和统计学语言建模等手段发现模式和趋势来实现。文本挖掘通常需 要对文本结构化（例如，分解，伴随一些导出的语言特征的添加和其他成分的删除，以及随后插入到数据库 中）。随后，在结构化的数据中导出模式，并且评估和解释输出。[3] 2.2 挖掘Web数据 万维网是一个巨大的、广泛分布的全球信息中心。它包含丰富、动态的信息，涉及带有超文本链接结构  作者简介:南京大学 计算机科学与技术系 本科生 2 和多媒体的网页内容、超链接信息、访问和使用信息，为数据挖掘提供了丰富的资源。Web 挖掘是 数据挖掘技术的应用，从Web 中发现模式、结构和知识。根据分析目标，Web 挖掘可以划分成三个主要领域： Web 内容挖掘，Web 结构挖掘和Web 使用挖掘。 Web 内容挖掘分析诸如文本、多媒体数据和结构数据 （网页内或链接的网页间）等Web 内容，以便理解 网页内容，提供可伸缩性和富含信息基于关键字的页面搜索、实体/概念分辨、网页相关性和秩评定、网页内 容摘要，以及与Web 搜索和分析有关的其他有价值信息。 Web 结构挖掘使用图和网络挖掘的理论和方法来分析网上的节点和链接结构。通过Web 结构挖掘，可以 获得online commutiny 中的成员关系，从而为对成员进行分类分析做好准备。[2] Web 使用挖掘是从服务器中提取有用的信息。它发现与一般或特定用户组群有关的模式，理解用户的搜 索模式、趋势和关联预测什么用户正在因特网上搜索。这有助于提高搜索效率和效果，也有助于在正确的时 间想不同用户群组推销产品或