Mass Storage.pptVIP

数据库与海量存储技术 海量数据的产生 1.美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番 2.目前世界上90%以上的数据是最近几年才产生的 海量数据 = 大数据 ？ 大数据的4V特点：Volume（大量） Velocity（高速） Variety （多样） Veracity（真实性） 海量数据存储技术 传统方式：硬盘存储 磁盘阵列存储(RAID) 网络化方式：网络附加存储(NAS) 存储区域网络(SAN) 对象存储模式 RAID 廉价磁盘冗余阵列：用两个以上的同类型、容量、接口的磁盘，在磁盘控制器的管理下按照特定的方式组合成特定的组合，从而可以快速、准确和安全的读写数据 特点 数据存取速度快、吞吐量大 数据的高可靠性 NAS 文件级的网络存储模式 NFS/CIFS 通过标准的网络拓扑结构来提供数据和文件服务 NAS 优点 管理简单、扩容方便 跨平台性很好(使用统一的文件系统) 缺点 性能：当大量服务请求到来时，I/O访问遭遇瓶 颈 SAN 块级的存储模式 存储设备与服务器经由高速网络设备连接而形成的存储专用网络 SAN 优点 性能非常优越(基于光纤通道FC或iSCSI) 高容量 高可靠性 低延迟 缺点 没有一个统一的存储系统接口 数据的完整性问题 数据的安全性问题 设备的跨平台性较差 对象存储模式 对象存储模式一般由Client,MDS(Metadata Server)和OSD(Object Storage Device)三部分组成 Client为客户端用来发起数据访问 MDS为服务器用来管理对象存储系 统中的元数据并保证访问的一致性 OSD为存储对象数据的设备 它是一个智能设备包括处理器RAM内存网络接口存储介质等以及运行在其中的控制软件 对象存储模式 将NAS和SAN的优势进行了整合，同时具有NAS的跨平台共享数据和安全访问和SAN的高性能和可伸缩性的优点 对象存储技术提供基于对象的访问接口 将对象(object)作为对象存储的基本单元每个对象具有惟一的ID标识符 对象提供类似文件访问的方法 对象的数据包括自身的元数据和用户数据 对象存储模式 优点 高性能数据存储 跨平台数据共享 方便安全的数据访问 可伸缩性 智能的存储设备 海量存储中的数据库技术 数据库管理系统(DBMS)是海量数据存储检索系统的核心部件，所有对数据的控制都要通过DBMS来实现 基于海量数据环境，对通用的数据库管理策略不作讨论，只针对海量数据找到有效的、高性能的存储方法 应用——网络管理 传统的网络管理软件在海量数据存储方面大部分采取大型关系型数据库 问题1：对于实时采集的海量数据进行实时的 存储(不因I/O操作慢而丢失) 问题2：管理软件与数据库服务器进行通信造 成性能下降 一种方案--MRTG 采取使用一种日志文件以ASCII文本形式来记录采集到的流量数据，通常该种日志文件具有常量大小的特征，能够支持长期的网络监测任务 问题1：数据的存储粒度受到限制 问题2：每次数据采集后的图形化处理造成 性能下降 优化方案 1.采用嵌入式数据库Berkeley DB 无需通信，提高了应用程序速度 减少了磁盘操作，防止了数据丢失 2.触发控制的“按需成图”的服务方式 提高了应用程序的效率和性能 优化方案图示 详细说明一 为了缓冲网络管理当中采集到的海量信息，我们采取了消息队列机制，父进程将采集到的信息先写入消息队列，然后子进程从消息队列中读出信息写入数据库 为了防止消息队列中信息过多单进程来不及读消息队列并写数据库而导致消息队列阻塞,整个系统效率低下。为此我们创建了多个子进程来读消息队列写数据库 详细说明二 由于 Berkeley DB 单个数据库的容量只能为 256T，而网络管理信息庞大，为了扩充其存储容量，采取了多个数据库的方法 用户在使用网络性能管理系统软件时，往往关注的是某一段时间里的情况，所以以时间（年、月、日）为单位建立若干个数据来存放该小时里采集到的信息 详细说明三 由于路由器偶尔会发生信息滞留现象，导致存储信息失真，不是网络某一时刻的真实反映，所以每次打开两个数据库,即既打开当前点的数据库亦打开前一时间点的数据库 新问题 系统当中存在着多个子进程写多个数据库，它们之间协同工作的问题 哪个进程负责创建数据库、哪个进程负责关闭数据库 多个进程之间如何管理 多进程操作多数据库-加锁机制 多进程管理-心跳机制 Thank you * * * * *