基于1_2相似度偏离的数据预处理方法.pdfVIP

基于 1/2 相似度偏离的数据预处理方法 摘 要 随着大数据时代的到来，数据的预处理在数据挖掘任务中的重要性越来越高。 在数据挖掘任务中，数据预处理通常需要花费整个任务的近百分之六十的时间。 数据变换是数据预处理过程中的关键步骤之一，数据变换将数据从一种表示形式 转换为另一种形式，进而提高聚类和分类算法的性能。本文提出了一种基于 1/2 相似度偏离的数据变换方法，本文主要包括以下两部分： 提出一种新的数据变换方法：权重矩阵学习方法(Weight-matrix Learning) 。 权重矩阵学习方法学习到一个变换矩阵W，将原始数据变换到新的特征空间，使 得在新的空间中原来靠近的数据变得更加接近，原来远离的数据变得更加远离。 其中变换矩阵W是一个方阵，所以变换后的新数据中的每个特征都是原始数据 所有特征的一个线性组合。为了得到变换矩阵，提出了一种数据相似度矩阵的求 解方法，并且特别设定了一个目标函数，最小化该目标函数能够有效地降低数据 相似度矩阵的不确定性。并且设计了一个训练变换矩阵W的神经网络，可以把一 些神经网络的训练技巧应用到算法的训练中，从而加速算法的训练过程。权重矩 阵学习方法是Feature-weight Learning 的一个改进，把变换向量拓展为变换矩阵， 一定程度提高了算法的学习能力和变换能力。权重矩阵学习方法使得新空间中同 簇（类）样本变得更近，不同簇（类）样本变得更远，所以能有效的提升部分聚 类和分类算法的性能。 对权重矩阵学习方法进行两点改进。第一点改进，把余弦相似度引入到权重 学习方法中，代替原来的基于距离的相似度。数据分布是多样性的，基于距离的 相似度不可能适用于所有数据的相似度度量，而余弦相似度提供了一种新的相似 度衡量方式。余弦相似度根据向量间的夹角来判断向量的相似程度，给权重矩阵 学习方法提供了学习样本夹角的能力，增加了权重矩阵学习方法的适用范围。第 二点改进，把线性权重矩阵学习方法拓展为非线性权重矩阵学习方法。对于非线 性可分和高维数据，非线性学习是一种很好的解决方案。由于非线性变换后的数 据维度通常非常高，权重矩阵学习方法在非线性变换后的空间中进行训练的计算 复杂度是非常高的，所以引入了核方法来降低算法的计算复杂度。通过实验证明， I 基于 1/2 相似度偏离的数据预处理方法 基于距离和余弦相似度的权重矩阵学习方法互有优势，所以余弦相似度使得算法 具有更广泛的应用场景；而对于高维数据，非线性权重矩阵学习方法能取得更好 的效果。 关键词：数据变换；不确定性；相似度；非线性；核方法 I A data preprocessing method based on 1/2 similarity deviation Abstract With the advent of the era of big data, data preprocessing has become increasingly important in data mining tasks. In data mining tasks, data preprocessing usually takes nearly 60% of the time of the entire task. Data transformation is one of the key steps in the data preprocessing process. Data transformation transforms data from one representation to another, thereby improving the performance of clustering and classificatio