数据库与云储存概念.doc

2014/2015 第二学期 应用技术学院认识实习报告 学 院： 应用技术学院 专 业： 网络系统管理 姓 名： 黄 佳 指导教师： 王 亮 题 目： 数据库与云存储 实训时间：2015年6月29日-2015年7月3日 应用技术学院一、前沿技术总结 自古以来，数据就存在于人们的生活中且不断增加，今日更是如此，随着物联网技术的快速发展，在农业、工业、交通、医疗、环保等领域每时每刻都在产生大量的数据。在各行业业务的不断扩大、信息化的不断深入的背景下，数据已渗透到企业日常业务的各个应用场景中。用户对于海量数据的处理和实施分析的及时高效性越来越重视,快速有效的海量数据处理和实时分析技术将有助于企业快速了解市场行情变化迅速作出决策，从而占得发展先机。同时该需要对数据库技术提出更高要求。 物联网中不同类型子系统的海量异构数据要统一的处理及存储，那么就要求该海量数据处理方法能融合多个不同网络、多个数据源、异构的海量数据并且能对这些数据进行高效快速的处理，同时，该海量数据处理任务需要对包括网络资源、计算资源、存储资源等多种资源进行统一的规划和调度，为数据处理分配合适的资源，将任务分散到多个联网的节点上并行计算，可以有效地加快海量数据处理的速度。而传统的数据处理技术和数据库管理系统（DBMS）已经无法完全适用于物联网海量数据的处理和存储管理。因而，在诞生的云计算(cloud computing)概念上延伸和发展出来的一个新的概念——云存储。 云存储是基于云计算的。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。 基于云技术的分布式实时数据库架构如图1所示，将实时数据库技术与云计算技术进行深度融，通过分布在世界各地的云计算中心服务器集 群实现具有数据库规模可扩展、可伸缩，数据库管理统可靠性、可维护性高的分布式实时数据库系统，该系统包含了数据处理压缩、数据检索、数据存储虚拟化技术、冲突处理、内容分发网络技术、事务调度、故障监测与恢复、负载均衡等多项功能，在实时性、分布式、虚拟化基础上实现海量数据存储、高并发事务处理、存储加密处理、分布式冗余备份、系统动态扩展等功能。 图1 分布式实时数据库 在分布式实时数据库的构架中，数据采集器和数据库服务器节点的服务组件均通过分布式通讯服务平台的中间件接口接入该平台，实现同其他服务组件的交互。各组件以服务的方式与其他功能组件进行连接、调用，可以实现数据交互的自由、高效。另外通过与同样接入该服务的其他节点的进行通讯连结，数据的收发也可以通过分布式通讯服务平台的接口实现。分布式通讯服务平台通过内部的缓冲队列和异步调用机制，使节点在数据发送时无需关心接 收节点的状态，在接收数据时将通过消息回调实现节点数据获取。分布式数据存储检索平台如图1所示。 多台数据采集器和数据服务器所需的数据存储、检索服务组件通过云服务接 入 平台形成统一的数据存储、数据检索服务并对外提供该服务，突破了以往单台实时数据处理服务器的孤岛模式，形成一个去中心化的、对等的分布式数据存储、数据检索等功能的系统。数据采集器或数据服务器将采集的实时数据通过服务平台发送到统一的数据存储服务功能模块进行实时数据的存储。而客户端则通过平台接口或是Web服务器连接入到通讯服务平台，并向统一的数据查询服务申请和进行数据查询。对通过分布式通讯服务平台向其他节点发送数据的服务器节点来说，数据发送成功就可以认定为数据写入成功。当节点接收到数据时，会通过回调接口完成数据的接收。 图2 数据库服务器 准确来说，云存储不是存储，而是服务。 就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使