聚类分析在网络舆情监测中的应用研究.pdfVIP

聚类分析在网络舆情监测中的应用 朱晓东杨国俊 合肥工业大学，安徽合肥230031 摘要：随着互联网应用发展和深入，网络舆情的热点不断涌现，对社会管理和秩序稳定形成了新 的挑战，网络舆情检测的重要性逐渐显现。本文讨论聚类分析方法对改进舆情检测和分析的工作方式、 提高工作效率的一些构思。 关键词：web挖掘聚类分析网络舆情 1引 言 舆情指在一定的社会空间内，围绕中介性社会事项的发生、发展和变化，作为舆情主体的民众对国家 管理者产生和持有的社会政治态度。它是较多群众关于社会中各种现象、问题所表达的信念、态度、意见 和情绪等等表现的总和。随着互联网技术的快速普及和迅猛发展，网络信息量与日俱增，内容庞杂多样。 互联网以其虚拟性、隐蔽性、发散性、渗透性和随意性等特点，越来越成为人们表达个人想法的渠道。网 络舆情形成迅速，对社会影响巨大，需要社会各界高度霞视。 而基于关键字检索方式的网络监控方式存在较多缺点，如：检索命中率较低，有大量垃圾信息干扰， 很多信息难以用关键字描述等。我们需要借助计算机对互联网的海量信息进行智能化的舆情分析，通过建 立正确的分析模型，提高网上信息的发现、研判能力，从而及时分析社会热点和敏感信息，做为应对措施 的判断依据。 2W-eb挖掘 2．1Web挖掘概述 W曲数据挖掘是将数据挖掘的思想和方法应用到W|eb上，针对页面内容、页面之间的结构、用户访问 信息等各种W曲数据，应用传统数据挖掘方法来发现mvw中的有用信息，以帮助从m硼r中提取知识。 content 目前主流的观点根据挖掘对象将W曲挖掘分为三类：Web内容挖掘(webmining)、web结构挖掘 s仃ucture (web mining)和web使用记录挖掘(webusagemning)。 图lW曲数据挖掘分类 w曲内容挖掘是从文档内容或其描述中抽取知识的过程，是指从web内容、数据或文档中发现有用的 信息。W曲内容挖掘采用两种策略：一种是直接挖掘文档的内容；另一种是利用其他搜索工具的结果进行 问记录的数据挖掘，通过对网站日志文件进行分析，对网站访问情况的详细统计数据进行数据挖掘。 2．2Web挖掘流程 与传统数据库和数据仓库相比，web上的信息是非结构化或半结构化的、动态的并容易造成混淆的， 所以很难直接以web网页上的数据进行挖掘，而必须进行必要的数据处理。 2．2．1数据采集 从目标web文档中获取数据。根据不同的应用需求，信息资源不仅包括在线web文档，还包括电子邮 件、电子文档、新闻组、网站日志数据和数据库服务器中的数据。 2．2．2数据预处理 从获取的、Ⅳeb资源中去除无用信息，并对信息进行必要的整理。如、Ⅳeb文档中的广告链接、多余的格 式标记。数据预处理的质量直接关系到数据挖掘结果的优劣。 2．2．3模式发现 通过分类规则、聚类分析、关联算法等方法从数据预处理的结果中提取有用信息。 2．2．4模式分析 用合适的工具和技术对挖掘出来的用户行为模式(集合)进行分析、解释和可视化，从中筛选出有用 的模式，使之成为人们可以理解的知识。 3聚类分析 聚类就是把一个数据集合分解或划分成组，使同一组中的数据彼此相似，但与其他组中的数据尽可能 不同。聚类与分类的根本区别在于：分类是根据训练集进行有监督的学习，根据事先知道的属性对数据集合 进行划分；而聚类是一种无监督学习，是在对数据集合进行划分后发现划分标准。 3．1主题文章的向量表示 向量空间模型是一种简单高效的文档表示模型，把文本解析成特征(中文文本的特征项一般可以选择 “字”、“词”或“词组”，甚至也有使用“概念”作为特征项的，例如将“计算机’’和“电脑’’归为同一“概念”，从而 更接近原文本)的集合，通过一定的权重公式刻画这些特征，从而把文档表示成向量，通过比较向量之间的 相似性对文档分类，每一类表示一个话题。 多个文本向量组成的文本集D的表示如下： 。二卧“。。=巨习