基于聚焦爬虫的网上药品信息监测系统的中期报告.docxVIP

基于聚焦爬虫的网上药品信息监测系统的中期报告

一、项目背景

随着互联网的发展和普及，越来越多的人在网上购买药品。然而，在一些不规范的药品交易平台上，存在一些假冒伪劣药品，或是存在不实宣传，误导消费者等问题，给消费者带来不良的健康影响。因此，为了保障消费者的合法权益，监管部门需要建立起一套稳定可靠的药品信息监测系统。

二、项目目标

本项目旨在利用聚焦爬虫技术，建立起一套针对特定药品关键词的网上药品信息监测系统。主要目标包括：

1.实现对指定药品关键词的爬取，并对相关网站内容进行全面分析；

2.对爬取得到的药品信息进行整合和筛选，排除重复或不合法信息；

3.提供可视化的数据分析和报告，方便监管部门进行监测和统计，并及时发现违规行为。

三、项目进展和实现方法

目前，本项目已经完成了第一轮的爬取和数据清洗工作。主要实现方法如下：

1.爬虫部分：利用Python语言，采用scrapy框架搭建聚焦爬虫，设置代理池和请求头，访问一些药品交易平台网站，爬取与指定关键词相关的信息。

2.数据清洗部分：通过数据去重、内容筛选和格式规整等方式，对爬取到的数据进行清洗过滤，保证所得数据的真实性和有效性。

3.可视化部分：采用PowerBI等软件，将爬取得到的数据进行可视化处理，生成可视化报告，为监管部门提供方便的数据分析和可视化报告。

四、下一步工作计划

1.优化爬虫策略，提高爬取效率和精