基于Internet的综合性船期数据采集与整理系统的设计与实现的中期报告.docxVIP

基于Internet的综合性船期数据采集与整理系统的设计与实现的中期报告 一、项目概述 本项目旨在设计一个基于Internet的综合性船期数据采集与整理系统，通过网络爬虫技术和机器学习算法提取航运公司及其船舶的动态数据，包括船期、船名、起始港口、终止港口等，为船运业者提供便捷高效的查询和管理服务。 二、项目进展 1.系统需求分析 完成项目需求的初步梳理，明确了系统所需功能模块： （1）船期数据采集模块：采用网络爬虫技术抓取船期数据，存储在数据库中。 （2）数据清洗模块：对采集的数据进行去重、格式化以及缺失数据的填充。 （3）数据挖掘模块：通过机器学习算法对船期数据进行分析和处理，提取航线、船舶运行时间等信息。 （4）后台管理模块：提供对船期数据的添加、删除、修改、查询等操作。 （5）前台展示模块：提供用户查询和浏览船期信息的门户网站。 2.系统设计 完成系统的总体设计和详细设计，确定系统所用技术： （1）前端：采用Vue.js框架实现前端展示界面。 （2）后台：采用Spring Boot框架实现后台管理功能。 （3）数据库：采用MySQL数据库存储船期数据。 3.系统实现 （1）完成数据库的设计和建立。 （2）完成船期数据采集模块的编写，利用Python的requests和BeautifulSoup库实现对船期网站的爬取。 （3）完成数据清洗模块的编写，对采集的数据进行去重、格式化、数据清理等处理。 （4）完成数据挖掘模块的编写，利用Python的机器学习库对船期数据进行分析和处理。 （5）完成后台管理模块的编写，实现对船期数据的添加、删除、修改、查询等操作。 （6）完成前台展示模块的编写，实现用户查询和浏览船期信息的门户网站。 三、下一步计划 1.完善系统功能，提高系统的性能和稳定性。 2.进行系统测试，发现和修复系统的Bug。 3.优化系统的用户体验，提高用户的满意度。 4.完成项目的文档编写和提交。