《豆瓣电影信息爬虫的设计与实现》12000字.doc

目录

目录

豆瓣电影信息爬虫的设计与实现

摘要

随着互联网的快速发展，作为信息载体的网页数量大大增加，同时网络信息也迅速增长。用户获取网络信息需要通过工具进行搜索。而搜索引擎作为一个辅助人们搜取信息的工具，带来了极大的方便，但通用性搜索引擎存在一定的局限性。通过通用性搜索引擎搜索信息，不同领域、不同背景的用户往往具有不同的搜索目的和需求，而且会有一定的时间空间资源浪费，所以需要一个基于主题搜索，满足特定需求的网络爬虫。

本文通过研究设计了一个获取豆瓣Top250电影信息的主题爬虫，通过利用正则表达式等网页解析技术，对网页中的电影信息资源进行获取。通过编写主题爬虫程序，实现了用户通