网络舆情监测王贺.pptx

网络舆情监测基于R语言的网络文本挖掘与数据可视化中国人民大学统计学院王贺第六届中国R语言会议（北京会场）

新闻评论微博NEWSREVIEWSWEIBO文本挖掘互联网R电商ONLINESHOPPING热点话题TOPICTEXTMINING关键词KEYWORDWEBINTERNETTOPICMODEL主题模型LDA2

TEXTMINING新闻评论微博NEWSREVIEWSWEIBO文本挖掘互联网R电商ONLINESHOPPING热点话题TOPIC关键词KEYWORDWEBINTERNETTOPICMODEL主题模型LDA新闻评论微博NEWSREVIEWSWEIBO文本挖掘互联网R电商ONLINESHOPPING热点话题TOPICTEXTMINING关键词KEYWORDWEBINTERNETTOPICMODEL主题模型LDAcvcv数据获取数据清理数据分析结果展示3

热点话题新闻评论微博NEWSREVIEWSWEIBO文本挖掘互联网R电商ONLINESHOPPINGTOPICTEXTMINING关键词KEYWORDWEBINTERNETTOPICMODEL主题模型LDA4

logo截至2013年3月12日新浪微博?前200条含PM2.5的微博

产品评论6网络新闻新浪微博RRwordsegtmldaRurlXML

R《R语言环境下的文本挖掘》TextMininginR刘思喆,2012.037

“要学会如何Google，如何百度”——谢邦昌8

关键词+空格+“site:”+URL9指定起止时间多栏显示连续显示12

[日]朝日新闻网中有关“人民币”的报道

（2012年）语料库12

语料库读取建立13

读取url地址一个本地文件夹使用tm包:install.packages(tm)doc-c(Lineone.,Linetwo.)Corpus(VectorSource(doc))Corpus(VectorSource(doc.txt))Corpus(DirSource(c:/users/…))#WindowsCorpus(DirSource(/Volumes/HD/…))#Macdoc-htmlParse(url,encoding=UTF-8)#require(XML)...Corpus(VectorSource(doc))R中的变量一篇本地文档

文本-词频矩阵

DocumentTermMatrix15

新浪微博关键词：PM2.518

文本-词频矩阵

DocumentTermMatrixgexfxmlns:viz=http:////1.1draft/vizversion=1.1xmlns=/1.1draftmetacreatorWangH/creator/metagraphdefaultedgetype=undirectedidtype=stringtype=staticnodescount=329nodeid=1label=03月/nodeid=204label=检测点/nodeid=205label=江里漂/nodeid=206label=结膜炎/nodeid=207label=借东风//nodesedgescount=930edgeid=1source=1target=10weight=2/edgeid=2source=1target=16weight=1/edgeid=3source=1target=44weight=1//edges/graph/gexfXML19

截至2013年3月12日新浪微博?前200条含PM2.5的微博

产品评论例：某款U盘在某商城的用户评价23

截至2013年3月15日金士顿某款U盘在亚马逊网站上的用户评价的关键词关系图

金士顿U盘性价比很高，没什么问题壹贰金士顿U盘没什么性价比叁金士顿U盘性价比不错，没什么缺点肆金士顿U盘性价比很好，没什么瑕疵伍……

精度往往不够26BigData–Context=Bad

PostedonMarch4,2013byRogerPeng

/2013/03/04/big-data-context-bad/Icanseeatleastthreeproblemshere,notnecessarilymutuallyexclusive:BigDataareoften“Wrong”Data.Thestudentsusedthesensorsmeasuresomething,