01第一数据和云存储概述.pptxVIP

第一章 大数据和云存储概述本章主要描述大数据和云存储技术：大数据技术。云存储技术。学完本课程，您将能够理解：大数据概念。大数据处理过程。云存储概念。云存储典型应用场景。大数据存储概述1.1 什么是大数据1.2 大数据时代的机遇和挑战1.3 大数据需要哪些支撑技术1.4 大数据在各行业需求和应用云存储概述大数据定义-不同行业的不同声音大量数据管理数据分析大量用户群体海量计算IDC对大数据特征的定义 Value-价值密度Volume-巨 量Variety-多样性Velocity-速 度沙里淘金，价值密度低。一部数小时的视频，可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题。实时获取需要的信息。大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命。结构化数据、半结构化数据和非结构化数据。如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求。数据量巨大。全球在2010 年正式进入ZB 时代。IDC预计到2020 年，全球将总共拥有40ZB 的数据量。大数据带来哪些技术变革-技术驱动单机集群横向扩展块级虚拟化单机块存储横向扩展分布式文件系统文件存储10GE FC IB设备间连接10GE SAS IB设备内连接分布式数据库非关系型数据库关系型数据库大数据存储概述1.1 什么是大数据1.2 大数据时代的机遇和挑战1.3 大数据需要哪些支撑技术1.4 大数据在各行业需求和应用云存储概述大数据技术演进以Google大数据架构演进为例说明：Google大数据架构1.0Web应用时代(2003)Google大数据架构2.0社交网络时代(2010)Google大数据架构3.0智能大脑时代分布式存储+ 查询 + 批处理交互式分析 + 增量刷新 + 图计算智能分析+云服务智能搜索应用驱动Google建立以Google大脑为代表的智能分析技术。社交网络数据搜索应用驱动Google建立增量查询框架、社交图谱分析和交互式分析技术。网页搜索应用驱动Google建立低成本高扩展文件系统、支持K/V网页数据的查询、批处理构建索引。大数据应用挑战和诉求数据分析师MinerHadoopFarmerPorter开放、统一数据处理，混合负载高效、高可扩展、低成本。开发工程师数据集成工程师Manager运维工程师大数据应用挑战和诉求数据分析师MinerHadoopFarmerPorter开放、统一数据处理，混合负载高效、高可扩展、低成本。开发工程师数据集成工程师Manager运维工程师大数据时代的转变大数据时代的到来会为我们带来哪些影响和转变呢？我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。我们不再热衷于追求精确度。我们不再热衷于寻找因果关系。大数据存储概述1.1 什么是大数据1.2 大数据时代的机遇和挑战1.3 大数据需要哪些支撑技术1.4 大数据在各行业需求和应用云存储概述数据处理技术的变化（1）当数据量较小时：数据处理技术的变化（2）当数据量变大时，只能通过升级船的大小来解决（如：升级CPU，内存，磁盘容量），但受限于硬件本身这种方式升级已达到极限。数据处理技术的变化（3）数据采集数据存储数据管理数据分析Bi 大数据时代采用新的方式来处理（分布式并行处理），其组件扩展灵活，数据承载能力强，管理统一，但管理起来相对复杂（统一架构，统一管理）。BI分析工具数据分析技术（1）数据采集数据存储数据管理数据分析数据运载过程中做粗加工处理。BI分析工具数据分析技术（2）数据采集数据存储数据管理数据分析数据运载过程中做细加工处理。BI分析工具数据运载过程中做细加工处理大数据存储概述1.1 什么是大数据1.2 大数据时代的机遇和挑战1.3 大数据需要哪些支撑技术1.4 大数据在各行业需求和应用云存储概述互联网客户需求客户面临的挑战数据增长速度极快，IT设备激增，管理难度加大。实时分析能力差，影响快速营销能力和效果，用 户体验不佳。海量数据处理效率低，缺乏数据全方位分析方法。综合性的分析处理工具。数据实时分析。便捷的扩展性和易管理性，廉价的硬件。社交网络B2C业务在线音视频业务精准营销运营商客户需求客户面临的挑战IT渗透严重，业务向IT靠拢，基于IT的新业务数据激增。传统业务数据增长迅速，规模线性膨胀。数据存储，系统维护，数据有效利用存在巨大压力。 业务数据的集中整合管理。可扩展，高性能的数据硬件。综合性分析工具，提升业务和营销效率。实时营销线路监控新业务挖掘业务推送金融客户需求客户面临的挑战发卡量迅速增加， 数据开速增长。传统业务数据增长迅速，规模线性膨胀。数据存储，系统维护，数据有效利用存在巨大压力。数据的集中整合管理。可扩展，高性能的