基于Scrapy框架的我爱小说网数据采集系统-开题报告.docxVIP

PAGE PAGE # 毕业论文（设计）开题报告 题目：基于Scrapy框架的我爱小说网数据采集系统的设计与实现  毕业论文（设计）开题报告 研究的目的、意义 随着互联网技术的飞速发展、移动只能设备的日益普及，网络小说平台凭借其便捷性, 已成为人们重要的阅读休闲途径之一。网络小说平台运营过程中，会产生大量的读者、作 者、书籍等信息，合理利用相关数据对平台的发展至关重要。 面对日益增加的数据压力，许多网络文学网站出现网络平台流量成本不断提升的问 题。同时，由于新媒介不断崛起导致用户时长呈现离散化分布、网络小说平台行业独占率 下滑，导致用户争夺日趋白热化。网络小说平台在存量用户维持、新用户吸引、提高网站 点击率等方面面对诸多问题。 针对上述问题，以我爱小说网站为研究案例，釆用Scrapy框架进行数据釆集、清洗、 持久化，对分析的数据结果进行可视化展示。本系统优势是爬取的数据种类多，可以直观 看到用户对不同种类书籍的偏好，针对不同的读者推送不同类别的书籍，预测下一年适合 推广什么书籍，一定程度上提高书籍的交易量，提高作家的收益，推动小说网络平台的发 展。 国外国内研究现状及发展趋势 目前，国外设计出了很多的网络爬虫系统，主要有Ubi Crawler Mercator Nutch和 Google Crawler,这些网络爬虫系统都具有自己特点，在数据采集方面有较高的效率和准