基于最优投影和动态阈值最近邻搜索算法.pdfVIP

( ) 2006 年 8 月 四川大学学报 自然科学版 Aug. 2006 第 43 卷第 4 期 Journal of Sichuan University (Natural Science Edition) Vol. 43 　No. 4 文章编号 : (2006) 基于最优投影和动态阈值的最近邻搜索算法 1 1 1 1 1 2 魏大刚 , 唐常杰 ,段　磊 ,钟义啸 ,朱　军 ,蒋永光 ( 1. 四川大学计算机学院 ,成都 610065 ; 2. 成都中医大学基础医学院 ,成都 610075) 摘要 : 作者在前人工作成果的基础上 ,提出并实现了一种基于最优投影和动态阈值调整的最 近邻搜索算法 D TA (Dynamic Threshold Algorithm) ;证明了最优投影线定理和投影邻域定理 ; 并分析了 D TA 算法与 SNN 算法相比在算法性能上的优势. 实验结果表明 , 当数据规模增大 时 ,D TA 算法的运行时间增加相对缓慢 ,在大规模数据集上 D TA 算法的运行时间可达传统算 法的 10 %以下;D TA 算法对阈值的变化不敏感 ,能适应不同分布的数据集合. 关键词 :最近邻搜索 ;最优投影线 ;数据挖掘 中图分类号: TP311. 13 　　　文献标识码 :A 高维数据在信息检索、模式识别有广泛应用 ,我们在一个正进行的关于中药方证分析项目中需要处理 大量高维数据[1 ] . 高维数据集合中点 p 的最近邻是指数据集合中与p 的距离最小的其他点. 这里的距离 可以使用欧氏距离、Manhattan 距离和 Minkowski 距离[2 ] , 以及以上距离模型的加权版本. 最近邻搜索问题是数据库、数据挖掘、信息检索、模式识别和机器学习等众多领域中频繁出现的问题 , 实体被表示为高维空间中的数据点 ,实体间的相似度则通过对应数据点的距离来度量. 在大量的数据挖掘 和信息检索应用中 ,最近邻搜索算法主要面临数据规模大和数据维度高两大难题. 传统最近邻搜索算法需 要求出数据集合中任意两点间的距离 ,当数据规模达到几十万甚者上百万时 ,其效率难以满足需求. 文[3 ]提出了基于启发的近似最近邻算法 ,可用于不要求精确找出最近邻的应用中. 文[4 ] 提出了寻找 最近邻的 SNN ( Searching Nearest Neighbor) 算法 , 以快速找到数据集合中每一点的最近邻. SNN 算法先将 数据点按某一维排序 ,然后只需要计算每一点到它所在的维的 δ邻域内的点的距离, 其中 δ为用户设定 的距离阈值 ,最后通过比较得到最近邻. SNN 算法避免了传统算法必须求两两之间距离的缺点 ,只需比较 一个较小邻域内的点 ,从而大大提高了计算速度. 若假定数据集合中的点在排序维的分布情况比较均匀 , δ 即某一点排序维的 邻域内包含数据点的数目不超过某一个与数据集合中点的总数 n 无关的常数 ,则 SNN 算法的时间复杂度为 O ( n log ( n) ) . 当数据是通过扫描空间数据得到时 , 因为扫描后数据自然已 按某一维排序 ,所以其时间复杂度会降为 O ( n) . 然而 ,SNN 算法对于分布比较密集的数据点集复杂度为 O ( n2) , 实验结果也显示 SNN 处理这类数据效率低下. 同时 ,用户指定的距离阈值 δ对 SNN 算法的运行 δ 时间的影响也较大 ,当 大到一定程度时 ,即使对于分布比较均匀的数据 ,SNN 算法也退化为传统算法. 我们在吸收 SNN 算法的距离阈值思想的基础上 ,通过引入最优投影线和动态阈值提高算法效率. 主 ( ) 要工作包括 : 1 弥补了文[4 ] 中不够精细的缺点 ,证明 SNN 算法最坏情况下的时间复杂度和传统算法一 样是 O ( n2 ) ,证明了最优投影线定理 ; (2) 提出了基于最优投影线和动态阈值的最近邻搜索算法 D TA