HDSNN—基于节点优先级的聚类算法.pdfVIP

HDSNN— 基于节点优先级的聚类算法 张业嘉诚 大连理工大学，软件学院，辽宁省大连市（116620） E-mail ：linazyjch@ 摘要： 聚类算法是数据挖掘领域的重要研究课题。设计能够处理高维，不同形状，密度分 布不均匀的数据集的聚类算法成为目前的研究热点。HDSNN 的提出有效的解决了数据集密 度分布不均匀等问题。HDSNN 首先利用最近邻居节点的方法构建出数据集中节点间的自然 链接关系，再建立节点间优先级对数据节点的有效关系进行排序，生成顺序表。最后，通过 对顺序表的深度优先搜索生成最终的簇。通过对公共数据集的实验结果证明，HDSNN 能够 得到正确的聚类结果，很好的解决了密度分布不均匀的数据集的处理，具有优于 DBSCAN 和 OPTICS 等基于密度聚类算法的执行效率。 关键词: 聚类分析; 密度分布不均匀; 顺序表 文献标识码: A 中图法分类号: TP31 1 引言 聚类分析就是将数据集划分成具有实际意义的、真实的数据节点的集合[1]。K-means 是最 为通用的聚类算法之一，但是它不能有效的解决噪音点和对不同形状，大数据量的数据集的 聚类[2]。分层聚类算法也是聚类算法研究的一个重要分支。它可以有效处理不同形状的数 据集，但它对噪音敏感，同时它无法处理密度分布不均匀的数据集[3,4]。 DBSCAN 是一种基于密度的聚类算法。它能够处理高维，大容量的数据集。同时可以有 效的处理任意形状的数据集，并且对噪音不敏感。但 DBSCAN 无法处理密度分布不均匀的 数据集。DBSCAN 设定参数Eps （节点的搜索半径）和MinPts （密度阀值）。当数据集中某 个节点满足Eps 和MinPts ，则此节点为中心点，并进行搜索，直到搜索完毕。所以DBSCAN 能够查找任意形状的数据集，但它不能处理密度分布不均匀的数据集。因为它的密度是基于 中心点的密度阀值，无法确定不同密度簇的中心点。如图 1，如果在给定Eps 和MinPts 的前 提下，高密度的数据节点将聚类成为簇，而低密度的数据集将被视为噪音被排除，或者将每 个低密度节点视为一个独立的簇。这和真实的聚类结果是违背的。因此，针对 DBSCAN 的 缺陷，提出了 OPTICS 。它可以有效的解决密度分布不均匀的数据集的聚类问题。但OPTICS 的设计复杂，执行效率低。 因此，针对DBSCAN 和 OPTICS 等算法的缺陷，提出了基于密度的 HDSNN 聚类算法。 它利用最近邻居节点，建立节点间的优先关系和深度优先搜索等技术对数据集建立自然链接 并生成优先级。利用优先级确定最终的聚类结果。实验证明，HDSNN 有效解决了 DBSCAN 和 OPTICS 存在的问题，能够得到广泛的应用。 - 1 - 图 1 密度分布不均匀数据集 Fig 1. Dataset of different density 2 HDSNN 在高维数据集中，随着维度的增加，单元容量迅速增大。除非节点数量随着维度的增加成 指数倍增加，否则密度趋近于 0，传统的基于 Euclidean 距离的密度没有意义。因此，随着 维度增加，传统的 DBSCAN 等基于密度聚类算法的使用难度增加。所以，HDSNN 使用了 优先级这一相似度测量方法来提高基于密度聚类算法的实际应用。 HDSNN 的目的是查找数据节点的优先级，通过优先级的比较进行深度优先搜索。这一算 法可以自动完成密度分布不均匀的数据集的聚类，可以避免出现无法利用 DBSCAN 对图 1 中数据集进行聚类的情况。 2.1 节点间关系建立 HDSNN 利用 K 邻居节点，建立节点间的关系。将数据节点描述为具有依赖关系的网状图。 被其它节点所指向的节点具有Authority 值，指向其它节点的节点具有Hub 值。未被任何节点 所指向的节点标记为