Composite数据虚拟化服务技术.docVIP

Composite数据虚拟化服务技术 　　摘要：与任何虚拟化一样，数据虚拟化是一种允许用户访问、管理和优化异构基础架构的方法。通过在数据用户和数据资源之间建立虚拟集成层，能够避免数据物理搬移和重复存储，进而快速实现信息共享，减少运转成本。 　　关键词：Composite数据 虚拟化 服务技术 　　中图分类号：TP393 文献标识码：A 文章编号：1007-9416（2014）05-0103-02 　　1 数据虚拟化技术 　　与任何虚拟化一样，数据虚拟化是一种允许用户访问、管理和优化异构基础架构的方法，就好像他们是单一、且在逻辑上是统一的资源一样[1]。数据虚拟化是一种数据集成的方法，帮助企业在复杂多样的数据资源条件下有效灵活使用数据[2]。数据虚拟化技术是一种中间件，它利用高性能计算机和先进的软件把多种本来不相关联的数据资源组织在一起，松耦合但逻辑上紧密关联[2]。 　　通过在数据用户和数据资源之间建立虚拟集成层，能够避免数据物理搬移和重复存储，进而快速实现信息共享，减少运转成本[2]。利用数据虚拟化技术，企业能够在应用程序、数据仓库、交易数据库、文本数据、互联网和其他数据资源智商，建立一个发现并整合所有信息的额数据层，在无需创建存储信息备份的环境下，将企业内部及外部的数据孤岛进行统一。最后根据慎独及广度的需要讲一个完整的信息世界展现在企业者面前[3]。 　　很多前端业务应用如BI、事务分析工具等，可以通过虚拟数据层来读取数据。数据的提取依据人们对原始数据资源的需求，包括事务系统、运行中的工作数据库、大数据以及外部数据资源。利用高性能的查询算法和其他优化技术能实现快速的数据分发。基于二维表或层次模式的逻辑数据模型能够确保数据的质量和完整性。标准的API接口和开放的逻辑架构使数据访问与虚拟中间件、数据资源层的关联关系大大简化。如图1。 　　数据虚拟化中间件平台能够提供上述的各种集成功能。 　　2 数据虚拟化技术功能分析 　　数据虚拟化创建和应用的对象是视图和数据服务。这些对象封装了数据存取的逻辑需求，执行数据的关联、传输、分发任务。由于业务需求、应用数据标准、应用目标等的变化这些对象从数据提取范围到功能各不相同，一个对象可以调用其它对象，以实现更多的功能；系统采用层次化方法管理和利用这些对象，分为应用功能层，传输与规范化层，数据访问和校验层。利用这种方法实现对象功能的调用和组织，能充分发挥多种对象的功能特性，使系统整体具有灵活性，也促进了新功能的研发。就像金融领域的贸易往来，或者是研究领域的多种研究项目，一个主题会关联多个对象，对于一个面向主题的数据超市来说，这些对象可以用来创建数据虚拟化访问工具；对于一个数据仓库来说，面向多个专业领域的对象可以被组合起来。因为数据虚拟化可以分阶段实施，从一小组面向局部的应用扩展到面向其他领域，进而扩展到整个企业。 　　一个数据虚拟化平台包含如下三部分，分别支持研发、运行和资源管理。 　　2.1 集成开发环境（Integrated Development Environment IDE） 　　集成开发环境是数据虚拟化技术的重要组成部分，从业务分析到应用开发的人员都可能用到这个集成开发环境，以定义合适的视图和数据服务[2]。这些视图和数据服务遵循逻辑数据模型，而数据逻辑模型本身基于二维表或者层次数据库。这些对象也可以用来开发数据安全控制功能，例如用户授权与用户权限管理；或者数据质量控制功能例如遵循标准，数据校验、数据包装等。IDE帮助开发者快速了解数据关系，迅速开始应用开发。为节约代码编写时间，系统可预置大量事务模块，可以快速创建视图或者事务对象。系统支持利用Sql，Xquery，Java等语言来开发更多更高级的数据虚拟化访问功能。系统可提供标准的数据访问接口如ODBS、JDBC、SOAP等。 　　2.2 数据虚拟化服务环境 　　与支持逻辑上统一的访问、查询、报告、预测分析，以及针对关系型、Hadoop、NoSQL等不同后端数据库应用的任何‘SQL虚拟化’解决方法相同，数据虚拟化的核心是抽象层[1]。数据虚拟化服务环境就是数据虚拟化平台的抽象层，运行时活动被查询请求激活，数据虚拟化服务执行本次查询，数据虚拟化服务中的查询引擎是专门为执行针对网络上多个数据源的联合查询而设计的，基于成本和规则的查询优化器为每一次请求自动匹配最好的查询计划。 　　数据虚拟化服务还要完成以下任务：查询结果传送，保证数据被顺利发送到用户界面，完整、高质量、可用。利用权限保护数据被正确的人利用。启用合适的缓冲机制保证性能和可靠性。 　　为完成查询，系统将查询结果直接发送到应用界面并记录全部活动日志。 　　2.3 管理环境 　　配置数据虚拟化服务，以执行开发、测试、分段处理策略制定