基于python主题的主题网络爬虫的研究与实现.docx

PAGE11

基于python的主题网络爬虫的研究

摘要：时代的发展越来越快，互联网技术更是以势如破竹的态势融入进我们的生活中，无论是大人还是孩子、无论是上班族还是学生，都需要利用网络来方便自己的生活。在当前的大数据信息化社会背景下，人们每天在面对巨大的信息量时，如何有效、快速地检索到想要的信息就显得非常重要了。因此搜索引擎应运而生，但在使用各种搜索引擎搜索时，网络上爆炸式的信息使我们自己去辨别和检索到有效的信息变得困难。

在此前提下，网络爬虫技术得到了广泛的关注和应用，而本文主要以python语言和django框架为基础搭建环境，将“前程无忧”网站作为为爬取对象url，