HCHCNP V3.0 第一章 大数据存储概述.pptx

本页不打印课程编码适用产品产品版本课程版本ISSUEHC1209201大数据存储V1（C30）3.0开发/优化者时间审核人开发类型（新开发/优化）李锋2015-09-01代锦秀新开发第一章 大数据存储技术概述目标学完本课程，您将能够：了解什么是大数据。理解大数据相关支撑技术。熟悉大数据系统常见应用场景。目录什么是大数据大数据时代的机遇和挑战大数据需要哪些支撑技术大数据在各行业需求和应用大数据存储系统典型应用场景大数据定义-不同行业的不同声音大量数据管理数据分析大量用户群体海量计算IDC对大数据特征的定义 Value-价值密度Volume-巨 量Variety-多样性Velocity-速 度数据量巨大全球在2010 年正式进入ZB 时代IDC预计到2020 年，全球将总共拥有40ZB 的数据量。沙里淘金，价值密度低一部数小时的视频，可能有用的数据仅仅只有一两秒。如何迅速“提纯”是大数据亟待解决的难题。实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命。结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求。大数据带来技术变革-技术驱动大数据分析处理全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一。Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术。传统技术升级已满足不了大数据处理的需求，“大数据” 技术将在未来3-5年内进入主流。其技术形态也会产生较大的变化。数据库瓶颈计算瓶颈存储瓶颈网络瓶颈大数据带来哪些技术变革-技术驱动（续）单机集群横向扩展块级虚拟化单机块存储横向扩展分布式文件系统文件存储10GE FC IB设备间连接10GE SAS IB设备内连接分布式数据库非关系型数据库关系型数据库目录什么是大数据大数据时代的机遇和挑战大数据需要哪些支撑技术大数据在各行业需求和应用大数据存储系统典型应用场景大数据技术演进Google大数据架构2.0社交网络时代(2010)Google大数据架构3.0智能大脑时代Google大数据架构1.0Web应用时代(2003)分布式存储+ 查询 + 批处理交互式分析 + 增量刷新 + 图计算智能分析+云服务智能搜索应用驱动Google建立以Google大脑为代表的智能分析技术社交网络数据搜索应用驱动Google建立增量查询框架、社交图谱分析和交互式分析技术网页搜索应用驱动Google建立低成本高扩展文件系统、支持K/V网页数据的查询、批处理构建索引以Google大数据架构演进为例说明：大数据应用挑战和诉求数据分析师MinerHadoopFarmerPorter开放、统一数据处理，混合负载高效、高可扩展、低成本开发工程师数据集成工程师Manager运维工程师大数据时代的转变大数据时代的到来会为我们带来哪些影响和转变呢？我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。我们不再热衷于追求精确度。我们不再热衷于寻找因果关系。目录什么是大数据大数据时代的机遇和挑战大数据需要哪些支撑技术大数据在各行业需求和应用大数据存储系统典型应用场景数据处理技术的变化（1）当数据量较小时。数据处理技术变化（2）当数据量变大只能通过升级船的大小来解决（升级CPU,内存，磁盘容量）但受限于硬件本身这种方式升级已达到极限。数据处理技术变化（3）数据采集数据存储数据管理数据分析Bi BI分析工具大数据时代采用新的方式来处理（分布式并行处理）其组件扩展灵活，数据承载能力强，管理统一，但管理起来相对复杂（统一架构，统一管理）。数据分析技术（1）数据采集数据存储数据管理数据分析BI分析工具数据运载过程中做粗加工处理。数据分析技术（2）数据采集数据存储数据管理数据分析BI分析工具数据运载过程中做细加工处理数据运载过程中做细加工处理。目录什么是大数据大数据时代的机遇和挑战大数据需要哪些支撑技术大数据在各行业需求和应用大数据存储系统典型应用场景中国大数据各行业市场规模互联网客户需求客户面临的挑战数据增长速度极快，IT设备激增，管理难度加大 实时分析能力差，影响快速营销能力和效果，用 户体验不佳海量数据处理效率低，缺乏数据全方位分析方法综合性的分析处理工具数据实时分析便捷的扩展性和易管理性，廉价的硬件社交网络B2C业务在线音视频业务精准营销运营商客户需求客户面临的挑战IT渗透严重，业务向IT靠拢，基于IT的新业务数据激增 传统业务数据增长迅速，规模线性膨胀数据存储，系统维护，数据有效利用存在巨大压力 业务数据的集中整合管理可扩展，高性能的数据硬件综合性分析工具，提升业务和营销效率