大数据整体架构.pptVIP

* 数据 采集 平台 基础设施（服务器、存储、网络、虚拟化、私有云、公有云） 数据源 综合服务 预测预警 态势监控 效率评估 路线规划 航班计划 调整工具 关键指标 计算工具 战略管理 传统数据存储与管理 航班 机场 航空器 航空情报 监控视频 地空通话 空域 气象 快数据处理（实时事件） 快数据流处理（Event Processing）引擎 实时决策引擎 数据管理 元数据 数据质量管理 数据传输任务与管理 数据安全 数据标准 …… 事件监控 舆情定制 移动端应用程序 态势监控 …… 实时事件侦听 页面请求侦听 网络爬虫 Sqoop CDC ETL Map/ Reduce API编程 多结构数据存储与管理 多结构原始数据存储 （Raw Data） 融合数据存储 （Integrated Data） 分布式分析与挖掘引擎 数据集市 通用语义区 报表分析与挖掘引擎 整合数据区 基础数据区 数据交换 文件交换 数据库共享 Web services 消息交换 数据治理共享和运行环境数据平台 …… 1、整体架构 结 构 化 数 据 半 结 构 数 据 非 结 构 化 数 据 DBAgent TextAgent LogAgent Web crawler BinAgent ApiAgent 数据源 公网 内网 消 息 接 入 控 制 模 块 消 息 缓 存 模 块 消 息 分 发 模 块 数据交换平台 XBRL+DataX+Kafka 分布式存储引擎 HDFS/YARN 批量计算引擎 MapReduce 内存计算引擎 Spark 流计算引擎 Storm /Spring Stream 批量 查询 Hive 交互 式 查询 Impala 实时 查询 Hbase 交互 式 内存 Spark SQL 内存 数据 挖掘 MLLib 内存 图计算 Graphx 大数据数据处理平台 实时流处理平台 MySQL+Redis 应用服务平台 报表\OLAP服务 查询可视化 定制+ECharts 数据挖掘服务 移动服务 应用服务平台 统一 元数据 统一调度和监控 Zookeeper+oozie+Ganglia 基础设施（服务器、存储、网络、虚拟化、私有云、公有云） Web crawler 开放平台API 2、技术架构 数据规划和梳理数据源 数据采集 平台 数据中心 数据清洗 数据分析 数据挖掘 数据应用 数据实时分析（流式计算） 数据离线分析 1、获取外部数据 2（b）对数据实时处理 2（a）数据存储 3 （b）推送到数据应用端 3 数据清洗 4 清洗后的数据存储 5 数据分析、挖掘 6 数据利用 数据流 结构化数据 ETL工具 非结构化文档工具 PDF ALALIB 语义识别工具 Semantic?LIB 数据采集 Data Acquisition 分布式文件系统 HDFS 内存数据库 In-memory DB 非关系型数据库 No Sql 数据存储 Data Storage 流处理引擎 Stream 数据挖掘/机器学习 Data Mining 数据计算 Data Process 并行计算引擎 （MapReduce/Spark/Storm） 文本搜索 资源管理 Yarn 分布式协助服务ZooKeeper 预测算法 prediction Algorithm 数据分析算法 Algorithm Library 关联分析算法 association Algorithm 评估算法 ?evaluation Algorithm 深度学习 Deep Learing 增强学习 Q-Learning 推荐算法 recommendation?Algorithm 时序分析 ?Sequential Algorithm 回归算法 Regression Algorithm 文档存储 Document Store 全文检索 Full-text Search 列式数据库 ColuMN DB 网络爬虫 Web crawler 实时事件侦听 Real-time monitor 数据侦听 Data monitor 监控及配置管理平台 Configuration Management Platform 数据安全管理平台 Data Security Management Platform 3、数据平台