博客社区发现及其主题抽取技术的的分析研究.pdf

博客社区发现及其主题抽取技术的研究 中文摘要 博客社区发现及其主题抽取技术的研究 中文摘要 近年来，互联网的高速发展推动了电子商务的崛起和发展，电子商务帮助众多企 业赚取了高额利润，也深深地改变了人们传统的生活方式。但是，如何制定有效的网 络营销方案更好地促进电子商务的运作成为众多电子商务企业的难题。而Blog 作为 Web2.0 的典型应用，通过频繁的链接及评论回复等交互方式形成了庞大的社会网络， 且Blog 是人们思想行为在网络虚拟社区中的体现，因此快速有效地发现具有明确主 题的Blog 社区，有利于企业制定合理的营销方案，实现精准的网络营销，达到利润 最大化目标，具有重要的现实应用价值。 目前，基于链接分析的社区发现算法存在诸多缺陷，且发现的Blog 社区不具有 主题信息，无法反映社区的兴趣点。针对上述问题，本文研究工作主要如下： (1) 确定了链接分析和内容分析结合发现Blog 社区及主题抽取的整体思路。 (2) 介绍了 Blog 的基本概念、Blog 链接和页面数据模型以及成熟的社区发现算 法。比较了Blog 社区发现算法的优劣，确定了将拖网算法作为本文研究的基础算法。 (3) 提出了“基于FCA 的Blog 社区发现算法”。该算法通过概念格的代数消解对 社区核心进行划分及合并，有效解决了拖网算法中严格的社区定义所导致的发现社区 数量过多、社区间重复率过高以及社区内容贫乏等缺陷。 (4) 提出了“基于 LSA 的 Blog 社区主题抽取方法”。该方法对 Blog 社区内容 TF-IDF 特征抽取之后进行LSA 降维处理，并提出奇异矩阵自动k 值截取方法和大矩 阵自动分割方法，提高了该方法的准确性和效率，凸显了Blog 社区的主题信息。 (5) 在Blog 社区发现算法和主题抽取技术的基础上，结合异步网络爬虫技术，设 计并实现了拓展性更强的Blog 社区发现原型系统。 关键字：社区发现，主题抽取，精准网络营销，形式概念分析，潜在语义分析 作 者：刘兆庆 指导老师：伏玉琛 I Abstract Research on the Blog Community Detection and its Theme Extraction Technology Research on the Blog Community Detection and its Theme Extraction Technology Abstract In recent years, the rapid development of the Internet has promoted the rise and development of e-commerce, and more and more enterprises earned high profits through the emerging model of e-commerce, which also profoundly changed the traditional way of life of the people. However, how to develop effective online marketing programs in order to improve the operation of e-commerce becomes to be a difficult problem of e-commerce businesses. Blog, as the typical applications of Web2.0, is made