互联网媒体信息热点主动发现技术研究与应用.pdfVIP

第 9 期 计 算 机 技 术 与 发 展 Vo1．19 No．5 2009年 5月 COMPUTERTECHNoLoGY AND DEVELOPMENT May 2009 互联网媒体信息热点主动发现技术研究与应用 黄宇栋，李 翔，林 祥 (上海交通大学 信息安全工程学院，上海 200240) 摘 要：网络媒体庞大的信息量及信息内容的各异，并不能把传媒聚类算法中适用于文本信息聚类的基本划分方法直接 应用于互联网媒体信息热点生动发现的研究工作中。鉴于此，文中将基于密度的聚类思想引入CFK—Means算法，创造性 地提出了全新的DCFK聚类算法。与此同时，文中基于DCFK算法构造大规模中文信息聚类模型，并且通过系列实验验 证本聚类模型在互联网媒体信息主动热点发现领域的有效性和实用性。 关键词：DCFK；大规模中文信息聚类；热点发现 中图分类号：TP301．6 文献标识码 ：A 文章编号：1673—629X(2009)05一O001—04 Research andApplication onActiveDiscoveryTechniqueof InternetM ediaInformationHotspots HUANGYu—dong，LIXiang，LIN Xiang (SchoolofInformationSecurity，ShanghaiJiaotongUniversity，Shanghai200240，China) Abstract：AbundantinformationanddifferenceofInternetmediaCna ’tdirectlyapplythebasicdividedmethod，whichsuitthetextinfor· marionclusterinmdeiaclusteralgorithm，toactivelydisocverthehotspotsofIntemetmdeiainformation．Sothat，pmlx~ethethen clusteralgorithm callde DCFKbasedonCFK—Meansalgorithm．ItisnecessarytoconstructabundnatChineseinformationclustermodel tOdiscovertheInternetinformationhotspots．Fina1ly．seriesofexperimentswillprovetheeffcetivenessandutilityofthem． Keywords：DCFK：Chineseinformationcluster；hotspotdisocvery O 引 言 类结果中包含巨量信息的类别正是需要寻找的互联网 随着互联网的快速发展 ，通过互联网获取信息、发 媒体信息热点Hj。因此高效、实用的互联网信息热点 布信息已经成为人们生活的重要组成部分，互联网媒 主动发现系统需要拥有能够高速处理大规模数据的信 体新发布信息很大程度反映当前社会各领域所关注的 息聚类算法，不过目前在面向互联网海量信息聚类方 热点、焦点。然而，在 “网络摩尔定律”的支配下，互联 面，暂未有成熟的核心算法与解决方案公开发表 2【J。 网信息量正以每 100天翻一番的速度增长。面对增长 传统的聚类方法主要包含基于划分方法、基于层 如此迅速的新网络信息，如何快速、有效地主动发现互 次方法、基于密度方法、基于网格方法和基于模型方法 联网热点信息已经成为一项紧迫而又重要的课题。 五种 J，每种聚类方法特点如下。