- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
载人航天开源数据舆情分析报告
【任务要求】
载人航天工程总体评价。
载人航天工程重大意义以及公众评价意见。
后续载人登月任务中长期发展规划 (开展还是不开展,开展的 意义如何)。
【文章结构】
一、 问题背景
1.1研究意义
载人航天的发展现状
人民群众对载人航天事业的关注程度会影响国家在这个领域的 投入
所以关心社会对载人航天的舆情现状
1.2网络数据舆情分析
大数据时代,借助信息手段解决问题
传统的问卷调查覆盖面窄、成本大、难实施
网络是扁平化结构,更有利于群众反映真实想法
1.3数据源选取
1.3.1数据源分类
主要选择了三大数据源,即新闻、论坛、微博。
图1-1数据源来源图
新闻数据主要反映了公众媒体的态度,新闻的数量则反映了媒体 对这类事件的关注度,而不同的关键字又可以反映媒体对事件的关注 点,本文选取了主流网络媒体门户:新浪新闻、搜狐新闻、腾讯新闻。
论坛是主题性质的,可以反映大众对载人航天事业感兴趣的 “话 题”并在每个话题板块下,对帖子的支持度进行统计、对帖子的情 感态度进行划分。本文选取了最热门的论坛有知乎、天涯、航空航天 港等。
微博是最自下而上的自媒体形式,属于典型的社交网络,对微博 容进行影响力统计和情感态度划分。本文选取了国最具影响力的微 博,新浪微博。
百度指数
132数据源特点
新闻类:
新闻时间、新闻题目
论坛类:
帖主、主题容、发布时间、回帖人、回帖容、回帖时间、
点赞
微博类:
用户ID、微博容、发布时间、转发数
1.4主要研究工作
本文主要利用了 web数据挖掘技术,发掘载人航天工程的网络
舆情情况。文章的容结构如图1-2。
图1-2本文的结构框架图
第一章是阐述问题背景,主要容包括本文的研究意义,研究对象 的选取和主要研究工作。
第二章详细介绍了研究方法,只要容包括网络爬虫的方法,对采 集的数据的处理方法,分词统计的方法,和文本情感分析的方法。
第三章是对三种不同来源的数据进行分析与处理, 对于新闻数据 部分采取了新闻数量统计分析和关键词统计分析; 对于论坛数据部分 采取了分词统计分析,文本情感分析和话题提取;对于微博数据部分 采取了热词提取和文本情感分析。
第四章是结论分析,主要容是对第三章的分析结果做总结分析, 得出结论。
二、研究方法
2.1网络数据挖掘
网络数据挖掘是指对 Web页面容及后台交易数据库进行挖掘,从 Web文档容及其描述中的容信息中获取有用知识的过程。 通过网络数 据挖掘,海量的、及时的信息能够被采集下来,并且通过文本分类, 统计学分析等手段分析出网络民众所关注的问题和持有的看法态度。
然而由于这些信息来自不同的不同的用户,那么其对应的结构位 置不确定,信息格式没有固定标准,文本容用语各不相同,因此我们 针对不同来源的信息采取不同的数据挖掘方式。
首先是数据的采集,对于新闻和论坛数据本文采用的是 Java语言 编写的网络爬虫程序,使用 MySQL记录所要采集的网页的URL地址 和页面所需容对应的Xpath结构信息,爬虫程序载入URL地址截取整 个页面再遍历各个Xpath节点,获取所需的容,将获取的容以文本形 式存入MySQL中,以供后续的数据处理与分析。采集流程如图 2-1
所示,采集页面所需的URL和Xpath格式如表2-1
确定数据来源网站爬虫程厚采集各URL
确定数据来源网站
爬虫程厚采集各URL对应页面
将内容以文本形式存入佔声QL中
图2-1网络数据采集流程图
表2-1数据米集格式
ID
site nam e
keywor
d
URL
urlXpat h
page
pubtim eXpath
title
Xpat
h
conte
n tXpat
h
user na meXpat h
view nu mXpat h
repl ynu mXpath
replyti meXpat h
replyc ont en tXpath
replyer
Xpath
char set
2.2描述性统计
对于采集的新闻数据根据发布时间制作图表,分析新闻数量的变 化趋势,得出网络媒体对载人航天工程的关注热度变化情况; 对新闻
数据按照不同关键词分类,分析网络媒体对载人航天工程的重点关注 对象。
对于论坛数据按照发帖时间回复时间制作图表, 分析帖子和回复 数量的变化,分析网络民众对载人航天工程的关注变化情况;对网络 民众情感态度变化进行分析,得出网络民众对载人航天工程的支持度 变化情况;对不同论坛的热度和支持度变化进行比较,分析其异同。
对于微博数据按照发布时间和微博影响力制作图表, 分析微博数
量变化趋势,得出网络民众对载人航天工程的关注热度变化情况; 对
微博容情感态度变化情况进行分析,得出网络民众对载人航天工程的 支持度变化情况;分析考虑影响力和不考虑影响了的民
原创力文档


文档评论(0)