基于MapReduce异构数据集成与查询优化研究.pdfVIP

VDB-MR:MapReduce-baseddistributeddataintegrationusingvirtualdatabase

目前有很多方法，想要实现数据融合的目标，即是要针对不同的异构数据，为使用

者一个统一的管理和操作接口，其中一个解决方案便是使用虚拟数据库。

但是对之主要的研究工作主要集中在，如何从数据中提取出一个全局的图表?(global

schema)，或者是如何定义高效率的查询语句，但是在如何提高查询语句的执行效率这一块

却很少有人进行研究，截止在的时间，对于MapReduce在异构数据源方面(例如：

数据库和文件系统)的开发基本没有。

耶鲁大学开发了一种结合DBMS与MapReduce技术的混合系统HadoopDb，但是因为

其基于Hadoop所以所有数据都必须以键值对的形式存放；因此这个系统不能够处理异构数

据源。

因此这篇文章主要研究如何用基于MapReduce的执行引擎?(executeengine)来提高这方

面的效率

ResearchonHeterogeneousDataEbasedonXML

因为数据的异构问题，数据在前都需要进行ETL过程，而整个过程又通常是耗时

耗力而且不尽人意的。但是有人指出，对于建立数据库时遇到的数据异构问题，其实和

之前所遇见的异构数据库融合的问题十分类似，而后者在近十年以来的研究后已得到了很好

的解决了。XML文件因为有很好的封装性，并且兼容很多不同的架构，因此可以用基于XML

的方式来异构数据之间的交换

Methodologicalguidelinesforreducingthecomplexityofdatawarehouse

developmentfortransactionalbloodbanksystems

在海量异构数据的许多应用中，普遍存在着计算时间长，得到结果等问题，

对于终端用户来说，分析软件过长的计算时间，导致其分析结果没有了时效性；同时，这些

应用的使用率特别低，部分上是因为数据库更新需要很长的时间，而传统的数据库并不支持

部分特征的快速的更新，导致数据库在进行升级的时候，用户不能够正常使用。

另外，就目前来说DW系统的自动的数据确认?(validation)功能仍然不健全，这

方面仍有待研究。

Developmentofaninteroperabletooltofacilitatespatialdataintegrationinthe

contextofSDI：

数据融合上面，一个难题是，如何用一个统一的方式来评估各种不同数据的顺从

性?(incompliancy)，在技术层面上来说：即是数据的格式，准确性，时效性，网络，以及数

据本身，非技术层面上来说：有价格和执照?(licensing)

之前相应的解决方案：

1.federateddatabase：它将多个单独的数据库统一的集合到一个虚拟的数据库下面，

然后从统一用一个用户界面进行

2.ontology-drivendataintegartion：

2.1mediationtechnique：实现过程主要包括，将一个全局组件?(component)

定义为一个调停者?(mediator)，将多个局部组件定义为包装?(wrappers)。

这样的布局，可以使异构数据与其所在的domainapplication进行绑定。

2.FME(featuremanipulationengine):它是一组spatialETLtools的集合，ETL(extract,

transformload)tools是用于克服数据