计算传播学与网络爬虫-第五章.pptxVIP

第5章 基于关键词的新闻网页爬取;01;背景说明;新闻的价值主要包含内容的新鲜、重要、接近人们、显著性以及趣味性。 内容要新鲜：新闻在时间上需要及时，内容上需要有新意。有新意是指新闻事实所包含的内容具有新颖性，是以前没有出现过的，或者事情发生了变动。而那些周而复始、司空见惯的事情，是没有新意的。 内容要重要：新闻事件和当前的生活和广大群众的切身利益有密切关系，这样才能引起人们的关心。 内容要接近人们：所谓的接近，包括地理上的接近和心理上的接近两种。地???上的接近，是指新闻事件发生地与读者所处的地理位置比较接近，因为人们总是首先关心自己身边发生的事情。 内容要显著以及有趣味性：新闻涉及的人物、地点的知名度高，因为知名的人物以及知名的地方所发生的事情，一般都能够造成较大的影响。另外就是奇闻趣事，这样的新闻能够给人以精神抚慰，使人心情愉快，或者使人感到生活的美好。;新闻的特点总结起来包括：来源准确可靠；内容真实，事实准确；迅速时效。 来源准确可靠：新闻的来源必须真实可靠，报道内容必须准确无误，包括新闻事实的时间、地点、人物、事件起因、经过、结果以及描写细节，都必须实实在在，确有其事，必须完全符合实际情况。 内容真实，事实准确：新闻的内容必须真实、事实必须准确，所谓真实，是指新闻所写的人物、时间、地点、事情发生发展的经过是没有经过虚构的，准确是指每个事实，包括细节在内都是准确无误的。 迅速、时效：新闻是迅速及时，有时效性的。迅速才能体现消息的价值，消息报道速度慢了会降低其价值，变成“旧闻”。时效是指速度快，内容新，对新的人、事、情况、问题及时迅速的反应。;新闻的作用总结起来主要包括：传递消息、监督作用，引导价值观，宣传以及娱乐。 传递消息：新闻最根本的作用就是向社会传播各种消息，让一些事件为大家所知，包括一些官方的通知、公告等，还有最新的决策、部署，都与老百姓息息相关，消息传递的效率很大程度影响了社会发展的效率。 监督作用：通过新闻的报道，能对社会不良行为进行舆论监督。 引导价值观：新闻在社会上具有一定的地位，所以它们播放出来的东西往往值得大家信任，什么行为是值得鼓励的，什么行为是有违道德伦理以及法律的，通过新闻的报导，能够起着领导社会价值观的重要作用。 宣传：很多新闻媒体都会强调党的重要性，只有跟着党走，社会才能进步得更快，更好地宏扬正能量，新闻媒体在这方面也起了宣传的作用。 娱乐：新闻媒体可能会播放一些很多人感兴趣的事情，这样就起到了供大家娱乐的作用，可以让人们的生活变得更加有趣。;01;需求分析;点击“人民网_网上的人民日报”，进入人民网的主页，将鼠标移动到人民网主页右上角的“放大镜”处，将会弹出搜索框，输入本章的关键字“5G”，点击“站内搜索”，即可得到搜索结果页面，页面顶部如左图所示，页面底部如右图所示，可以通过下方的“下一页”按钮可以进行不同新闻页面的跳转，点击新闻的标题可以进入该新闻的详情页。;目前比较合适的爬取网页新闻的方法是通过网站的某个频道单独进行搜索，这种方式搜索之后的新闻详细信息页面布局都是一样的，能够快速准确地解析到用户感兴趣的信息。以人民网为例，爬取安徽频道下关于5G话题的新闻数据的采集步骤如下：;01;流程设计;点击首页左侧边栏的“新建”按钮，选择“自定义任务”，如下图所示。;在右侧工作台中填入任务网址http: ///，然后点击“保存设置”按钮，如下图所示。;找到新闻检索框并点击，然后点击“操作提示”中的“输入文本”，如下图所示。;并输入“5G”，点击“确认”按钮，在“打开网页”步骤下方会自动添加一个“输入文本”步骤，如下图所示。;点击“输入文本”步骤的图标，操作名默认为“输入文本”，用户可以根据自己的命名习惯修改操作名称；可以在“要输入的文本”添加需要输入的关键字用于搜索，如输入“5G”，则搜索时使用的关键字是“5G”；右方的图标，主要是通过元素匹配的XPath来定义元素的位置；点击“执行前等待”，可将时间设置为1秒，如右图所示。;输入关键字后，需要点击图标，然后点击“操作提示”中的“点击该元素”，如左图所示。然后在“输入文本”步骤下方自动添加了一个“点击元素”步骤，如右图所示。;点击“点击元素”步骤的图标，进入设置页面并将操作名改为“点击搜索”，点击“应用”按钮，即可保存设置，如右图所示。;“点击搜索”步骤运行之后，加载出搜索后的网页，网页上方是搜索的各条数据罗列，下方是翻页的导航，根据操作提示，点击“自动识别网页”，如下图所示。;等待自动识别运行完成，勾选“操作提示”的“点击列表中…”，并删除“字段”和“字段1”两列数据，最后点击“操作提示”中的“生成采集设置”按钮，如下图所示。;等待自动识别运行完成，勾选“操作提示”的“点击列表中…”，并删除“字段”和“字段1”两列数据，最后点击“操作提示”中