基于属性约简的粗糙集海量数据分割算法研究.pdfVIP

第2o 期 计 算机 技 术 与发 展 V0l．【2O No．4 2010年 4月 COMPUTERTBa 0GYANDDEVELOPMENT Apr． 2010 基于属性约简的粗糙集海量数据分割算法研究 夏奇思 ，王汝传 ，2 (1．南京邮电大学计算机学院，江苏 南京 210003； 2．南京大学计算机软件新技术国家重点实验室，江苏南京 210093) 摘 要：结合RoughSet理论研究了分布式处理海量数据中的关键问题，即分割海量数据集的问题。经典的RoughSet算 法要求数据常驻内存，因此不能有效地处理海量数据。为了能够直接处理海量数据集，根据最佳分割的定义，结合属性约 简的思想，提出基于属性约简的粗糙集海量数据分割算法(MassDataPartitionforRoughSetO12AttributeReduction，MD- PRS—AR)。通过实验表明，MDPRS-AR算法的分割效率比