基于广义超曲面树相似性搜索算法.PDFVIP

1000-9825/2002/13(10)1969-08 ©2002 Journal of Software 软 件 学 报 Vol.13, No.10 基于广义超曲面树的相似性搜索算法 张兆功, 李建中 (哈尔滨工业大学 计算机科学与技术学院,黑龙江 哈尔滨 150001); (黑龙江大学,黑龙江 哈尔滨 150080) E-mail: lijz@; zhangzhaogong@0451.com 摘要: 相似性搜索是数据挖掘的主要领域之一.它在数据库中检索出相似的数据,发现数据间的相似性.它可以应用 于图像数据库、空间数据库和时间序列分析.对于欧氏空间(一种特殊的度量空间),相似性搜索算法中基于R-tree 的 方法,在低维时是高效的, 当维数增加时,R-tree 的方法将退化为线性扫描.该现象被称为维数灾难(dimensionality curse),主要原因是存在数据重复. 当数据量很大且维数很高时,距离计算和 I/O 操作将非常费时.提出了度量空间上 新的空间分割方法和索引结构 rgh-tree,利用数据库的数据对象与很少几个固定参考对象的距离信息进行数据分割 和分布,产生一个各节点没有数据重复的平衡树.另外,在rgh-tree 的基础上提出了相应的相似性搜索算法,该算法具 有较小的I/O 代价和距离计算次数,平均复杂性近似为o(n0.58).解决了目前算法存在的一些问题. 关 键 词: 算法;相似性搜索;度量空间;数据库 中图法分类号: TP311 文献标识码: A 在许多数据库的应用中,存在着基于邻近关系(proximity) 的查询问题.这些应用包括图像数据库[1] 、遗传学、 [2~4] [5] [6] 信息检索、数据挖掘中的时间序列分析 、文本匹配 、空间数据库 等等.例如,时间序列分析中的相似性 [2,4] 搜索 是从时间序列数据库中搜索出彼此相似的所有时间序列对.又如,在图像数据库中,给定一个图像,找出 所有与它相似的图像[1],其中两个图像的相似程度由对应像素灰度差的绝对值之和来描述. 一般化的相似性查询问题是给定一组数据对象,找出数据库中所有与它们相似的数据对象的集合.数据对 象是指数据库中存放的客观对象的特征数据(或特征数据的一个子集).给定的一组数据对象也称为模板数据, 特殊情况下可以只有一个模板数据.查询结果也可以是最相似的几个数据对象.模板数据还可以有一定的变化, 例如时间序列数据可以伸缩、平移和上移, 图像可以伸缩、平移和旋转等. 数据对象的相似性是通过应用领域中给出的距离函数计算得到的. 由用户给定一个最大阈值,若数据对象 之间的距离小于该最大阈值,则认为是相似的. 由于距离计算和I/O 操作比较费时, 因此,研究主要集中在减小距 离计算的次数和 I/O 的次数,通过各种技术和索引结构,依据三角不等式快速过滤掉距离较远的数据对象,避免 费时的比较计算、距离计算及I/O 操作. 人们已提出了多种相似性查询算法,这些算法采用的技术大致可分为如下4 类: (1) 基于距离变换算法.这类算法将数据对象映射到欧几里德空间中,变换保证数据对象之间的距离不变. 再利用低维欧几里德空间中的高效查询技术[2] .文献[2]利用傅里叶变换的算法,适合数据间有较强的相关性,但 不具有通用性的情况. 收稿日期: 2001-10-15; 修改日期: 2002-04-22 基金项目: 国家自然科学基金资助项目; 国家高技术研究发展计划资助项目(2001AA4 15410); 国家重点基础研究发 展规划973 资助项目(G 1999032704);国家教育部博士点基金资助项目(2000021303);黑龙江省自然科学基金资助项 目(F00-11) 作者简介: 张兆功(1963 －), 男, 山东青岛人,博士生,副教授,主要研究领域为数据挖掘技术;李建中( 1950－), 男,黑龙江哈尔滨 人,教授,博士生导师,主要研究领域为并行数据库理论,数据仓库技术,数据挖掘技术. 1970 Journal of Software 软件学报 2002,13(10) (2) 基于空间分割算法.这类算法将整个数据空间分割为规则或不规则的子空间,如文献