ADAM：面向大规模多媒体集合数据库与信息检索系统.pdfVIP

2014IEEE国际大数据大会

IEEEIEEE国际大数据大会国际大数据大会

ADAM—一个面向大规模多集合的数据库与信息检

索系统

伊万·姜格雷科伊哈布·阿尔卡巴里海科·舒尔特

数学与计算机科学系巴塞尔大学，

{firstname.lastname}@unibas.ch

——过去十，低成本的图像、音频和数据记对非结构化数据（如全文或多媒體对象）进行查询的概

录设备迅速普及，使得多数据几乎可以无限量地产生。多念，特别是因为它们仅在非常有限的程度上支持相似性搜

即为大数据，这不仅体现在其庞大的数据量上，也体现在其异构特索和部分匹配。作为第二种选择，研究人员可能会考虑使

性上。这也包括了需要执行的查询的多样性。当前在大规模多用一个信息检索（IR）系统。IR系统相似性搜索功

集合中进行搜索的方法主要依赖于。然而，对大型集合中的

能，例如通过依赖样本对象来查找相似的对象。对相似性

每个对象进行手动标注是不可行的。因此，基于内容的多检索

查询的结果要求根据表示元素相对于查询的相关性得分进

——使用样本对象作为查询输入——正逐渐成为应对数据洪流的

行严格的排序。然而，IR系统缺乏用于在元数据中进行精

重要需求。例如，在图像数据库中，有效的方法是利用示例图像或

手绘草图作为查询输入。本文中，我们介绍了ADAM，这是一种确搜索的宝贵数据库功能，例如索引结构、查询优化等。

新颖的多检索系统，专为此外，多IR系统尚未进入大数据领域。迄今为止，多

大规模集合而设计，能够支持针对结构化数据的布尔检索以及数据的搜索系统主要是基于专为使用这些数据的应用

针对从多对象中提取的特征向量的基于相似度的检索。为程序定制的单体系统。

了在如此大规模的多数据中实现高效的查询处理，

ADAM允许将已索引的集合分发到多个分片，并以最终，这两类系统都有其局限性，特别是在用户可

MapReduce方式执行查询。此外，它还支持一种基于签名的

能希望在高效且大规模的环境下结合多种查询范式的场

索引策略，用于相似性搜索，从而显著减少查询时间。

景中。虽然数据库系统适用于大规模的结构化数据和布

ADAM的高效性已在基于ImageNet集合的1400万张图像的

基于内容的图像检索应用中得到了成功验证。尔谓词查询，但它不适用于非结构化数据中的相似性查

询。相比之下，信息检索系统支持相似性查询，但通常

缺乏用于在元数据中搜索的复杂索引结构，因此扩展性

I.引言不佳。

随着无处不在的设备广泛用于数字化捕捉和记录图本文的贡献是双重的：首先，我们介绍了ADAM，这

像、音频和数据，多检索已进入大数据领域。是一种将数据库技术与信息检索无缝结合以处理大规模

多数据的迅猛增长给处理这些数据的系统带来了严多数据的新方法。ADAM具备处理和任何类型的

峻的。这包括多检索系统被期望向用户的多数据及其相