大数据应用解决方案.ppt

大数据应用解决方案 * 目录 2 3 1 大数据行业现状和分析 对大数据的观点及应用实践 部分应用场景分析 * 经济和技术发展大背景 共享经济 ●经济关系模式 强制经济 交易经济 1993-互联网 1973-以太网 1943-个人计算机 IT技术发展 新经济关系形态/新IT浪潮 工业4.0 ？ 中国制造2025 ？ 工业互联网 ？ 机器智能化 系统平台化 整体优化(跨产业链） 第一步 连接 采集数据 实现数据驱动 * 大数据通用框架和关键技术 关键技术核心思想 分而治之 Map Reduce 迭代 Iterating 内存计算/数据重用实现实时 全数据 批视图 批视图 Query 新数据 实时视图 实时视图 Query 批处理层 服务层 大数据技术原理: query = function(all data) 流处理层 Fig#1 通用Lambda框架 处理大容量数据 快速处理 分析 * 大数据平台方向 云和大数据的结合，使得支持简单部署的弹性扩展成为可能 “二八理论” 80%的大数据处理是不需要编写大数据程序实现的 既可以自建大数据集群，也可以使用“大数据云服务”直接使用云端大数据处理与分析能力 易用性：像使用自来水一样的使用大数据 大数据与数据仓库技术的结合 适配原有各种数据环境 通用性：复用长期培养的BI人才与技术储备 存储高效，通过压缩等技术节约存储空间与I/O处理