高维稀疏数据对象――属性零子空间分析.docVIP

高维稀疏数据对象――属性零子空间分析 　　[摘要]针对高维稀疏数据对象-属性子空间的优化问题，本文从稀疏性的角度提出了RZABUBS算法，通过剔除零子空间实现子空间的优化，并通过实验研究证明了该算法的有效性。 　　[关键词]高维稀疏数据；零子空间；子空间优化；高维数据预处理 　　 　　Zero-Subspace of High Dimensional Sparse Data Object-Attribute 　　Zhu Qin 1,2 ,Gao Xuedong 1,Wu Sen 1,Dai Aiming1 　　(1. School of Economics and Management, University of Science and Technology Beijing, 10083 　　2. School of Science, Nanchang University, 330031) 　　Abstract：As far as optimization subspace of High dimensional sparse data object-attribute is concerned, from the point of sparseness RZABUBS algorithm is proposed to achieve subspace optimization by removing the zero subspace in the paper, and the experimental studies demonstrate that the effectiveness of the proposed algorithm. 　　Keywords: High dimensional sparse data, Zero-subspace, Subspace optimization, Preprocessing high dimension data 　　 　　1 引言 　　 　　在数据挖掘的应用中，有一类数据如：购文档数据、空间数据、时间序列数据、基因序列等，其对象数目可达几百甚至上千，同时拥有成千上万个属性，我们将这类对象、属性数量特别大的数据对象称为高维数据（High Dimension Data，HDD）[1]。 　　高维数据与低维数据在许多方面表现出不同的特性，如稀疏性以及“维度效应”现象[2]等。子空间聚类算法[3]的提出在一定程度上解决了这一问题，正在成为当前一个研究的热点[4-14]。 　　现有的算法大都多数关注的是子空间的获取,而忽略了子空间的优化, 这是不完备的[15]。 　　本文提出一种剔除零子空间算法(A Removing Zero-subspace Algorithm Based on Unique Binary Sequence Code， RZABUBS)，实现高维稀疏对象-属性子空间的优化。 　　 　　2 问题描述 　　 　　2.1 高维稀疏数据 　　有一类数据，其对象的数目很多，用来描述对象的属性也很多，但是对于每一个对象来说具有属性值的属性个数占总属性个数的比例很小。例如钢铁企业中，有很多的客户（对象）和很多的产品（属性），各个客户购买的产品一般很少，而且各客户购买的产品种类也有很大不同。 　　定义1（稀疏特征）：假设有n个对象，描述第i个对象的m个属性值分别对应于区间变量值xi1，xi2，…，xi m，将其转换为二态变量并表示为yi1，yi2，…，yi m，转换方法为： 　　其中 {1，2，…，n}； {1，2，…，m}。yij， {1，2，…，n}； {1，2，…，m}表明了各个对象在个属性上的稀疏情况，称为第i个对象在第j个属性上的稀疏特征。如果yij=1，表明第i个对象在第j个属性上是非稀疏的；如果yij=0，则表明第i个对象在第j个属性上是稀疏的。实际上从客户购买产品的角度来看，如果yij=1，表明第i个客户购买了第j种产品；如果yij=0，表明第i个客户没有购买第j种产品。 　　在文献[16]中，上述问题被称为具有“高维稀疏数据”的问题。 　　2.2零子空间 　　由于高维稀疏数据中存在大量的零属性值，则经过数据预处理获得的子空间中存在稀疏子空间，甚至包括属性值全为零的子空间。 　　定义2（零子空间）全部元素都是零值构成的子空间，我们称之为“零子空间”。 ，零子空间记为： 。 　　在高维数据挖掘中, 将数据点对数据挖掘的过程中起作用、对最终挖掘结果的产生有贡献的维, 称为非冗余属性，否则就是冗余属性。高维稀疏数据中存在大量的零属性值，故这些具有零属性值的属性是冗余属性，也可以说具有零属性值的属性是冗余属性