网络数据爬虫及信息抽取设计与实现　.docx

PAGE10

网络数据爬虫及信息抽取设计与实现

摘要：随着网络信息的膨胀，人们更大程度上越来越依靠搜索引擎。爬虫作为搜索引擎不可或缺一部分，但是随之而来的问题是一些和暴恐有关的信息也能被用户搜索，会造成不良的社会影响，也不利于公安机关对社会秩序的稳定。即使索引等相关工作做的很好很完美，而爬虫收录的大部分会包含一定的反动暴恐信息，那么用户体验也无从谈起。这样就需要根据抓取效果来调整爬虫的调度和抓取策略。那么怎样才能去除和暴恐有关的网络信息并提高爬虫抓取网页的质量和效果呢?这就是本文爬虫数据信息抽取与统计系统需要解决的问题。

关键词：信息抽取；Mysql数据库；网络爬虫

1引言