用网络矿工实现舆情监测.docVIP

用网络矿工实现舆情监测 舆情监测通常是使用关键词匹配的方式进行，我们可以使用网络矿工定制一个属于自己的舆情监测系统，实现舆情发现、预警的处理。对于舆情监测而言，我们可以通过采集任务构建自己的元搜索引擎，然后利用网络雷达实现舆情关键词的匹配、网页快照保存及预警等操作。 配置过程可以分为两步：第一步配置我们关注的信息范围；第二步配置我们关注的关键词；实际，我们也可以直接一步来通过关键词获取舆情数据，但我们不这样操作，为什么？今天不做讲解，后续会讲到。 首先先来配置一个元搜素引擎，来实现关注信息的数据扫描，元搜索我们配置的简单点，就配置一个百度新闻搜索和360新闻搜索，新建一个采集任务： 先配置百度新闻搜索，具体网址不贴出，实际这是一个带有搜索关键词的网址，这个没关系，等采集任务配置结束我们会用字典参数替换掉，然后配置导航规则，即通过搜索结果将搜索出来的内容导航出来，详细配置不做讲解，可参看网络矿工采集任务配置教程，然后配置360新闻搜索，最终配置如下： 由于我们采集的数据是以文章为主，且采集的目标文章是多个网站，所有，我们采用智能方式自动提取文章的标题、正文和发布时间。 配置如下： 由于正文有可能在采集时带有一些网页的代码，所以，我们通过数据加工配置去掉它。 这样我们的元搜索引擎就配置完成，虽然简单，但足以满足我们当前的要求了。 下面，我们来开始对这个采集任务调整一下，我们所监测的舆情信息是有范围的，至少应该是与“我”有关，所以，我们在搜索搜索引擎是应该制定一些关键词进行搜索，可能是多个关键词。所以我们建立一个字典，点击菜单“工具”-“字典管理”打开字典管理界面，新建一个字典分类为：舆情监测关键词，在这个分类下添加两个关键词：山西、太原，如下： 然后打开我们刚才配置的采集任务，用字典参数替换搜索引擎的查询参数，这样采集任务运行时，就会自动提取字典中我们配置的“山西”“太原”关键词进行搜索了，修改如下： 这里要注意了，我们搜索的关键词是中文，而url是不支持中文的，中文都需要进行编码，所以我们设置选项让网络矿工自动编码提交，如下： 这样，我们的元搜索就彻底配置完成了，测试一下，看看采集是否正常： 没有问题，正确获取到了我们关注的新闻信息，下面我们配置网络雷达，用于实现舆情监测，新建一个雷达规则，选择监控源为我们刚才配置的采集任务； 系统会自动根据采集任务的配置信息，将可以实现监控的信息项罗列出来，我们选择监控规则为监控正文，包含关键词，譬如：我们关注最近的暴雨，所以我们设置关键词为：暴雨预警，这是一个组合关键词，所以我们用/分割， 然后我们选择发现舆情后，进行网页快照的保存，同时记录网页地址到数据库； 然后我们选择预警规则为通过电子邮件预警，此监控规则永久有效； Ok，这样我们的监控规则也完成了。回到网络矿工主界面，启动雷达监测，我们就等着监测数据就可以了。 网络雷达启动后，监测到数据，首先进行数据库保存，如下： 其次保存网页快照，如下： 我们再查看电邮，是否已经发送， Ok，所有监控数据均正常。 通过本文我们介绍了如何利用网络矿工实现舆情监测，实际实现舆情监测还是很简单滴，有兴趣的用户还可在此进行扩展，根据自己实际的监测需求来完善配置的规则。