2021数据采集解决方案.ppt

航空公司数据驾驶舱 目录 1 航空业务背景 2 分析思路 3 数据质量提升解决方案 4 数据采集解决方案 大数据形势 随着产业互联网时代的到来，各行业开始认真思考 大数据 带来的商业价值。所有的企业都希 望能提高信息系统的数据分析能力、获取隐含在数据中的 额外商业价值 。大数据已经在为企业提 高运营质量、指导 高层决策 中发挥着重要贡献。 目前航空公司的信息系统不断发展，使运行数据大量堆集，由于设计和管理不规范导致数据 质量问题越来越突出。根据“ garbage in ，garbage out”的原理， 错误的数据 最终会 误导决策 ，降低企业运营质量。因此数据质量的高低成为信息系统建设成败的关键因素，直接关系到信息 系统的有效应用。 亚信基于电信行业多年数据分析经验，指导航空公司在数据质量提升、数据采集等方向布局 ，提出基于数据稽核 + 清洗的常态化质量提升方案，以及通过亚马逊云计算和分布式爬虫的数据 采集方案，以此为 智慧航运 奠定基础。 业务背景 数据质量提升 ? 从常旅客数据入手，通过构建端到端的数据质量管理平台，构建 了一套端到端的数据质量核查、预警、清洗和知识沉淀体系。 数据采集 ? 获取竞争对手的运价等航线信息，对运营决策、营销活动等有 比较重要的参照。 数据质量是信息变现的基石 信息是企业重要的战略资源，使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差 之毫厘，谬以千里。 据 IDC 公司一份质量报告所述， 全球 范围内的 98.7% 的 BI 系统受数据质量所困不能充分发挥其价值，在这 其中 80% 全球以上的系统正因 数据质量问题 二遭受投资者的质疑，如何对系统数据进行有效的质量管理 ，已成为 IT 界的一项 世界性难题 数据质量问题分类 模型 重复 ? 过期数据 信息仓库 时效 完整 管理 目录 1 2 3 4 业务背景 分析思路 数据质量提升解决方案 数据采集解决方案 数据质量的问题原因分解 模型 重复 时效 完整 管理 信息仓库 解决思路 新数据 规范信息模型 应用 系统缺陷修复 人员 业务流程培训 数据质量的提升是一项系统工 程，任何一方面的缺失都会导 致数据质量的降低，因此，数 据质量提升应该综合考虑 数据 处理、业务 应用 和使用 人员 三 大方面的因素 存量数据 数据稽核清洗 目录 1 2 3 4 业务背景 分析思路 数据质量提升解决方案 数据采集解决方案 数据清洗解决方案 待清洗目标 CRM 人机 界面 规则配置 数据源管理 流程配置 数据装载 稽查审核 数据来源 EDW 其它数据源 行业信息库 人工审核 统计报告 数据稽核 数据源管理 清洗审核 离 线 FTP 数据清洗 机器学习 知识总结 清洗 作业 清洗 作业 清洗 作业 清洗 作业 实 时 消 息 ETL 客服系统 电子商务 more 抽 取 稽核 作业 稽核 作业 稽核 作业 稽核 作业 目录 1 2 3 4 业务背景 分析思路 数据质量提升解决方案 数据采集解决方案 数据采集解决方案 应用展现 业务层 REST+WEBSERVICE 机票 报表 价格监控 走势预测 采集调度 舆情分析 More MR+Hive+Storm RDBMS 北美节点 处理层 大 数 据 中 心 消息总线 亚太节点 欧洲节点 内部数据库 采集层 分布式爬虫 分布式爬虫 航空公司 分布式爬虫 国外网站 OTA 采集站点