基于Hadoop的网络舆情监控平台设计与实现.docxVIP

基于Hadoop的网络舆情监控平台设计与实现

李晨;杨子江;朱世伟;于俊凤

【摘要】AnetworkconsensusmonitoringsystembasedonHadoopwasdesignedandrealized.ThesystemadoptsHDFSastheunderly-ingstoragesystem,andthenitbuildsadistributeddatabasebasedonHBasewithittorealizeunifiedstorageandmanagementonthenet-workconsensusinformation.Firstly,itgrabsthedatawiththedistributedwebcrawlerbasedonMapReducetosolvetheproblemsoflowefficiencyandpoorexpansibilityofsinglecrawler.ThenitusesthesecondaryclusteringalgorithmwithCanopycombinedwithK-means,whichcanovercometheshortagesofsingleK-meansclusteringalgorithmandcouldimprovetheefficiencyandprecisionoftextcluste-ring.Finally,itcouldrealizethetopicstrackingstrategybasedonquery,alsocouldbeeffectivetrackandanalysisofhottopics.Thesimu-lationexperimentresultsshowthatcomparedwiththetraditionalmethods,thefalsenegativeandfalsepositiveofCanopy-Kmeanscluste-ringmethodislowerat1.24%and0.09%respectively,theminimumstandardpriceislowerat1.681%.Throughprovidingthevisual-izedanalysisofnetworkconsensus,thesystemproposedcouldprovidescientificandsystematicaltechnologysupportforenterprisesandscientificinstitutionstolearnthehotnetworkconsensusandmakenetworkconsensusstrategy.%文中设计并实现了一种基于Hadoop的网络舆情监控系统。该系统以HDFS作为底层存储系统，在其上构建基于HBase的分布式数据库对舆情信息进行统一存储管理。首先利用基于MapReduce的分布式网络爬虫进行数据抓取，以解决单机爬虫效率低、可扩展性差等问题；其次采用Canopy结合K-means的二次聚类算法，克服单一K-means聚类算法的不足，以提高文本聚类的效率和准确度；最后实现基于查询的话题追踪策略，对热点话题进行有效跟踪分析。仿真实验表明：Canopy-Kmeans聚类方法比传统K-means方法漏报率、误报率分别降低1.24%、0.09%，最小标准代价降低1.681%。系统通过提供可视化舆情分析报告，为企业或单位及时掌握舆情热点、制定舆情策略提供科学、系统的技术支持。

【期刊名称】《计算机技术与发展》

【年(卷),期】2016(000)002

【总页数】6页(P144-149)

【关键词】Hadoop;MapReduce;舆情监控;文本聚类;热点发现;话题跟踪

【作者】李晨;杨子江;朱世伟;于俊凤

【作者单位】山东省科学院情报研究所，山东济南250014;山东省科学院情报研究所，山东济南250014;山东省科学院情报研究所，山东济南250014;山东省科学院情报研究所，山东济南250014

【正文语种】中文

【中图分类】TP311.1

随着信息技术以及互联网的快速发展，其产生的海量、异构、动态的新闻数据使得人们很难快速、高效地找到用户感兴趣的新闻。如