基于Scrapy-Redis的垂直搜索引擎.docx

摘要

由于Internet发展太快了，网上的信息呈指数级增长。通用搜索引擎因信息量大、广告多、搜索不准确等原因而不能满足特定领域用户的要求，在此种情况下，垂直搜索引擎应运而生。垂直搜索引擎能给特定的用户提供某一领域更加专业的信息和服务，其信息的专业性和准确性在一定程度上弥补了通用搜索引擎的不足。

本说明书设计并实现了基于Scrapy-Redis的垂直搜索引擎，主要是针对计算机专业的在校大学生进行设计，有文章、问答、招聘三类数据，为用户提供了一个信息准确、操作简单的搜索服务。本系统采用Python语言进行开发，涉及到的技术包括分布式爬虫，中文分词，索引建立，Elasticsearch搜索引擎