大数据与大数据技术.pptVIP

分析结果 第五十页，共五十九页。 Advanced Analytic Service All Rights Reserved 2016 * 案例分享 传统数仓转大数据 第五十一页，共五十九页。 项目背景 使用传统的标准数仓建模，分ODS、DW、DM及DMA ETL主要通过存储过程实现 存储过程数据加工较多的使用临时表、中间表 使用传统交易型DBMS ORACLE作为数据仓库平台 前端通过刷CUBE提升报表查询速度 支撑报表数量：目前150左右 每日增量更新时长：1：00－12：50 第五十二页，共五十九页。 存在的问题 数据冗余比较严重 临时表、中间表使用过多，对内存及磁盘IO压力较大 层与层之间调度依赖严格 数据加工性能不足 数据查询性能不足 高并发查询性能下降严重 第五十三页，共五十九页。 并发的计算架构 * SQL(JDBC/ODBC/.Net) JAVA/C/… API 加载入 分布式存储 SQL on Hadoop 加载入 SQL in Hadoop Source CDH Cluster + Hadoop ETL 分布式内存 数据整合 数据 抽取 CDH Nodes (Cloudera’s distributiong including Apache Hadoop) Hadoop ETL runs natively on every node SQL on Hadoop SQL on Hadoop 基于标准SQL或者API界面输出 第五十四页，共五十九页。 非结构化数据为存储的新型SQL 基于落地HDFS的文件或HBASE进行SQL建表解析 提供工业MPP级别查询性能 线性可扩展 标准JDBC SQL界面，直连BO，Tableau ，Qlikview, MSTR等报表工具 第十八页，共五十九页。 技术方案：特点小结 基于开源系统的成熟商用插件方案 部署简便 提高开发效率 降低实施风险 基于内存的计算 性能优异 全部基于唯一Hadoop集群内，统一存储统一计算 减少数据传输迁移的同步问题 维护便捷：一套集群,维护简单 扩展性：无限扩展 线性提升 便捷的开发及报表展现工具 图形化 ETL，数据挖掘开发 便捷报表展现分析工具 建模过程100% 用户参与 IT基础架构与用户数据准备、探查、分析、预测分离 Advanced Analytic Service All Rights Reserved 2016 * 第十九页，共五十九页。 大数据团队组织建设 数据与业务的结合 大数据开发团队 技术平台支持 业务人员 咨询团队 大数据管理员 内部团队与专业伙伴紧密合作 Evan 数据科学家 第二十页，共五十九页。 Advanced Analytic Service All Rights Reserved 2016 * 大数据技术应用 第二十一页，共五十九页。 Internet of Customers and Internet of Things IoT Invisible devices and Wearable devices Trillions of networked nodes Low bandwidth last-mile connection 100kBit/sec Mostly addressed by local schemes Machine-centric Sensing-focus Trillions of computer-enabled devices which are part of the IoT Global addressing User-centric Communication-focus IoC Laptops / tablets / smartphones Billions of networked devices High-bandwidth access Cable: 10Mbs+ Fiber: 50-100Mbs 6+billion people 1.5 billion use net US: 4.3 devices per adult 第二十二页，共五十九页。 Big Data on IoT 第二十三页，共五十九页。 Predictive Maintenance that enable you to change your business… Hadoop Machine Learning Query and reporting IoT 解决方案 Command and Control You have devices on the network edge… Plant Floor Things Supply Chain Th