软件杯航班可视化大数据分析系统参赛团队-筑梦大数据工作室指导老师-钱宇虹参赛学校-武汉职业技术学院.pdf

软件杯 航班可视化大数据分析系统 参赛学校：武汉职业技术学院 参赛团队：筑梦大数据工作室 指导老师：钱宇虹 团队成员：潘坤，程潇，蓝泽纲 项目简介 根据大数据分析来对全休飞机飞行航班状态 项目介绍： 的历史记录实现进行挖掘，清洗，存储，分 析计算，可视化展示及可视化交互平台的平 台。 通过对可能影响航班的不同数据源抓取，预 实现方法： 处理后运用数据建模提取事件的属性值，进 进行可视化展示 点击链接即可实时体验此参赛作品: /fly http://localhost/fly 目录Catalog 1 事件源的抓取及存储 2 日志模块 3 数据处理 4 数据建模 5 事件画像 6 可视化展示 01. 事件源的抓取及存储 动手前分析 2 1 80代表提取八十条该 航班记录拼接时改为 360提取该航班所有 记录 3 官方提供的数据 4 4 数据爬取前准备 3 1 2 爬虫优势——数据源多，运行速度非常快 1 自己编写爬虫（主要是java爬虫实现实时爬取） 2 多进程和多线程同步运行多个网站的数据抓取 3 程序部署在云端稳定性较高 4 抓取了航班的详细信息 获取指定数据 从网上获取数据内容 事件类型 对某一航班号进行爬取 数据二级爬取 时间 抓取的指定航班的飞行信息 时间是航班的起飞、降 落 日期 事件信息 地点 事件的信息包含事件的 具体航班的经纬度 详细内容和介