HC1109109_HCNA-StorageV2_BSSN_第九章大数据存储基础案例.pptx

修订记录 课程编码 适用产品 产品版本 课程版本ISSUE HC1109109 OceanStor 9000 V1 V2.0 开发/优化者 时间 审核人 开发类型（新开发/优化） 董挺 2013.11 余雷 新开发 本页不打印 HC1109109 大数据存储基础 目标 学完本课程，您将能够： 了解大数据的基本概念 理解对象存储技术 了解大数据的处理技术 掌握华为大数据解决方案及技术 目录 大数据的基本概念 对象存储技术 大数据处理技术 华为大数据实践 海量数据来袭 什么是“大数据” ？ 一次写入，较少修改 价值不确定 容量大，增长速度快 需要保存时间长 大数据的组成 大数据的4V特性 多样性 速 度 巨 量 价值密度 Velocity Volume Value 添加标题 添加标题 Variety 大数据 大数据产生的背景 数据多源化 软硬件技术发展 云计算普及 产生于日常生活 人人都是数据创造者 计算性能提升 存储性价比提升 分布式处理技术诞生 低成本处理数据 大数据的价值 1980 1990 2000 2010 发生过什么？ 报告报表 正在发生什么？ 监控 1 2 3 为什么会发生？ Excel、OLAP分析 将会发生什么？ 优化、预测分析 4 从分析现状到预测未来 业务应用 目录 大数据的基本概念 对象存储技术 大数据处理流程 华为大数据实践 困境2：能耗、维护费用居高不下 困境1：扩展受限，难以保证可靠性 困境3：如何确保数据安全性？ 传统存储应对海量数据的困境 能耗、维护费用 iSCSI/FC 协议层 存储层 NFS/CIFS/Posix 文件 系统 对象 系统 HTTP/REST/S3 块存储 直接访问，开销最小，效率最高。 成本最高，扩展困难 场景：企业数据库，Oracle等。 文件存储 更易管理，更易与应用对接。 具备一定扩展性，但限制较多 场景：企业内部应用整合，文件共享等。 对象存储 结构扁平，近乎无限的容量扩展。 更加智能的自管理特性。 业界标准互联网协议，跨地域传输能力 场景：面向互联网服务的存储，归档、备份等。 对象存储技术 对象存储系统组成 OSD 元数据 服务器 文件系统 对象 网络连接 对象存储系统 对象(Object) 对象是对象存储的基本单元，每个对象都包含了数据以及数据的属性。 对象 OSD(Object-based Storage Device) OSD是一个智能设备，在每一个硬盘上另外再集成一块智能芯片，负责管理本地的Object。 OSD的主要功能是提供数据存储和安全访问。 文件系统 文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。 应用 文件系统 元数据服务器 OSD object object 客户端 发出 　 请求 请求OSD位置　 获得OSD位置 读OSD请求 返回数据 元数据服务器 元数据服务器为客户端提供元数据查询服务，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。 元数据服务器 OSD object object 客户端 网络连接 网络连接将客户端，MDS和OSD连接起来，构成一个完成的对象存储系统。 客户端 交换机 对像存储节点 元数据服务器 服务器集群 …… 对象存储结构 客户端 元数据服务器 数据 元数据 数据 管理 互联网络 数据访问模型 ０ １ ２ ３ ４ ５ ６ ７ ８ ９ 10 11 12 13 14 15 16 17 18 19 object object object object object object object object 传统存储 对象存储 File names/inode Objects/OIDs 对象存储的优势 采用对象接口，灵活分割数据 对象扁平化，易访问扩展 自动化管理 多租户 数据完整性和安全性 目录 大数据的基本概念 对象存储技术 大数据处理技术 华为大数据实践 大数据处理流程 数据采集 数据存储 数据管理 数据分析 大数据的技术概念——分布式并行处理 大数据的技术概念——分级存储 大数据的技术概念——数据处理方式 平均1个P数据中 非结构化为主 （例 ：互联网公司） 结构化 半结构化 非结构化 ~ 23% ~5 % ~10 % 大数据的数据特征 互联网大数据解决方案- HADOOP 企业大数据解决方案 NoSQL与关系型数据库 NoSQL MapReduce和关系型数据库不是互相取代，而是互相补充，需要互相学习取长补短。 目录 大数据的基本概念 对象存储技术 大数据处理技术 华为大数据实践 …… 非结构化数据、对象数据、结构化数据 统一管理、统一命名空间 负载均衡 动态分级存储 远程复制、快照 全局数据重删 NAS接口 存 储 层 应 用 层 NA