一种新型的网络社区高影响力主题提取方法.pdfVIP

№ ．1 陕西科技大学学报 Feb．2O11 · 138 · JOURNAIOFSHAANXIUNIVERSITYOFSCIENCE ＆TECHN0L0GY V01．29 文章编号 ：1000—5811{2Ol1)Ol一0138—04 一 种新型的网络社区高影响力主题提取方法 吴亚男，杨 云 (陕西科技大学电气与信息工程学 院，陕西 西安 710021) 摘 要：针对网络社区传统热点话题选择方法中存在的不足 ，如简单数字统计、没有考虑主题 内容等，提 出了一种基于社区主题 内容的高影响力主题提取方法．运用传统的词语权重计算方 法 TF_IDF并结合 网络社 区的特点来定义词语权重，再根据 网络社区信息传递的特点得到词 语的影响力并计算出词语 间的关联度，然后深度挖掘潜在关键词并最终构造出由若干个完全 图组成的无向图G，从而得出高影响力主题类型．该方法能够准确提取 出当前社区的热点主题 并能够在一定程度上对近期热点信息进行预测和判断． 关键词 ：权重；词语关联度 ；潜在关键词 中图法分类号 ：TP393．01 文献标识码 ：A O 前 言 Internet上的虚拟社区、网络社区，如 BBS／论坛、贴吧、公告栏 、群组讨论 、在线聊天、交友 、个人空间 等，其作用是为了增进世界各地人们之间的交互．现今互联 网的猛速发展和信息 日益的开放化、透明化 ，使 得网络社区中人气指数高涨，数据 日益庞大．人们通过网络社区这一平 台表达 自己的观点与见解 ，而对社 区中热点或大众最为关心的话题的分析也显得尤为重要 ，要从每天的海量信息中提炼 出高影响力和有潜 在价值的话题并非是一件很容易的事情． 而我们较为传统的判断方法主要是从主题的几个指标来看：点击率 (浏览数)、回帖数、讨论周期 、下载 存储次数．利用此方法可以取得较好的效果．但也存在某些缺陷I】]：(1)无法从主题 内容中分析，只是简单 的数字统计 ；(2)没有对主题进行聚类 ，从而发现社 区中若干相关主题组成当前热门话题；(3)没有考虑到 重要词语在回复链上的传播作用． 为了较好地解决传统高影响力主题计算方法所存在的不足 ，我们从社区各个主题的内容出发，即从帖 子间的回复内容着手 ，提出对高影响力词语进行聚类 ，从而达到对热点话题的聚类与提取，并设计出高影 响力主题发现的原型系统 ，该系统能够较好地从网络社区中提取出高影响力主题． 1 系统的架构与设计 1．1 社 区信 息预 处理 在中文里 ，语言的最小单位是字 ，而能表达 出一定含义 的最小单位则是词语．当然 ，也存在某些单字 词．以文本形式存在的信息是以标点符号对句子进行分割 ，而词语之间也同样需要分割．目前较为常用 的 分词方法有3大类 ：一是基于规则的方法 ；二是基于统计的方法；三是综合法．虽然这些方法在词语的分割 方面都发挥着不小的作用，但仍然面临着词语切分歧义和未登录词识别两大难题．为了能够减少词语切分 歧义、提高词语分词的准确率，本文提出了一种基于隐马尔可夫模型的双向最大字符串匹配分词法．具体 实施步骤如下 ：首先，按照双 向最大匹配法将待分析的中文字符 串与机器词典中的词条进行逐一匹配 ，由 * 收稿 日期 ：2010—12—01 作者简介 ：吴亚南 (1982一)。女，湖南省衡 阳市人，在读硕士生 ，研究方 向：数据仓库与挖掘 第 1期 吴亚男等 ：一种新型的网络社 区高影 响力主题提取方法 ·139 · 数较多的词语；同理，再按照由右至左的方式进行匹配。可得到两种匹配的 l堡堕 奎j 八 结果 ，然后采用隐马尔可夫模型 (HMM)对两种 匹配结果进行 比较并消除 ＼ 歧义，最终得到比较准确的分词结果 ’． 王 用词可以提高特征词选择的速度与质量．停用词主要是指对文本信息没有 查兰兰 一／／ 语进行分割后还