分布式数据挖掘中的最优K相异性取样技术.pdfVIP

第３８卷第３期 东南大学学报（自然科 学版 ） Ｖｏｌ３８Ｎｏ３ 　 ２００８年５月 ＪＯＵＲＮＡＬＯＦＳＯＵＴＨＥＡＳＴＵＮＩＶＥＲＳＩＴＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） 　 Ｍａｙ２００８ 　　　　　　 分布式数据挖掘中的最优Ｋ相异性取样技术 １，２ １ １ 胡文瑜 　 孙志挥　 张柏礼 １ （东南大学计算机科学与工程学院，南京２１００９６） ２ （福建工程学院计算机与信息科学系，福州３５００１４） 摘要：为了弥补基于集中式处理的分布式数据挖掘方法的不足，有效地实施分布式数据挖掘 （ＤＤＭ）任务，需要一种能从分布式数据源中获取多样化代表性取样集的技术．提出了一种新的 适用于分布式数据挖掘环境的数据取样算法（ＯｐｔｉＳｉｍＤＤＭ方法），算法核心是基于最优Ｋ相 异性进行数据选择，采用移动Ａｇｅｎｔ技术和扩展的最优Ｋ相异性数据多样化代表性子集选择方 法，能在各分布式数据场地中轮转选择出全局数据集的多样化代表性取样集．该方法通过降低所 挖掘的数据集的数据规模来降低数据挖掘算法的时空复杂度，降低网络通讯代价，提高数据挖掘 的执行效率，适合于各场地数据是互相关联和互相依赖的分布式数据挖掘任务．实验结果证实该 方法是可行、有效的． 关键词：分布式数据挖掘；最优Ｋ相异性选择算法；Ａｇｅｎｔ 中图分类号：ＴＰ３１１１３　　文献标识码：Ａ　　文章编号：１００１－０５０５（２００８）０３０３８５０５ ＳａｍｐｌｉｎｇｍｅｔｈｏｄｕｓｉｎｇｏｐｔｉｍｉｚａｂｌｅＫｄｉｓｓｉｍｉｌａｒｉｔｙ ｆｏｒｄｉｓｔｒｉｂｕｔｅｄｄａｔａｍｉｎｉｎｇ １，２ １ １ ＨｕＷｅｎｙｕ 　ＳｕｎＺｈｉｈｕｉ　 ＺｈａｎｇＢａｉｌｉ １ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９６，Ｃｈｉｎａ） ２ （ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ，ＦｕｊｉａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｆｕｚｈｏｕ３５００１４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓａｍｐｌｉｎｇｍｅｔｈｏｄｔｏｏｂｔａｉｎａｄｉｖｅｒｓｉｔｙｒｅｐｒｅｓｅｎｔａｔｉｖｅｓｕｂｓｅｔｆｒｏｍｄｉｓｔｒｉｂｕｔｅｄｄａｔａｓｏｕｒｃｅｓ ｉｓｎｅｃｅｓｓａｒｙｔｏａｖｏｉｄｔｈｅｓｈｏｒｔｃｏｍｉｎｇｓｏｆｃｌｉｅｎｔｓｅｒｖｅｍｅｔｈｏｄｓｂａｓｅｄｏｎｃｅｎｔｒａｌｉｚｅｄｄａｔａｓｅｔｓａｎｄｔｏｅｆ ｆｅｃｔｉｖｅｌｙｐｅｒｆｏｒｍｄｉｓｔｒｉｂｕｔｅｄｄａｔａｍｉｎｉｎｇｔａｓｋｓ．Ａｎｏｖｅｌｄａｔａｓａｍｐｌｉｎｇｍｅｔｈｏｄｆｏｒｄｉｓｔｒｉｂｕｔｅｄｄａｔａ ｍｉｎｉｎｇ，ＯｐｔｉＳｉｍＤＤＭ，ｉｓｐｒｏｐｏｓｅｄ．ＩｔｓｍａｉｎｉｄｅａｉｓｄａｔａｓｅｌｅｃｔｉｏｎｕｓｉｎｇｏｐｔｉｍｉｚａｂｌｅＫｄｉｓｓｉｍｉｌａｒｉｔｙ ｓｅｌｅｃｔｉｏｎ．ＴｈｅＯｐｔｉＳｉｍＤＤＭｉｓａｎｉｎｔｅｇｒａｔｉｏｎｏｆｔｈｅｔｅｃｈｎｏｌｏｇｙｏｆｍｏｂｉｌｅａｇｅｎｔｓａｎｄａｎｅｘｔｅｎｄｉｎｇ ｏｐｔｉｍｉｚａｂｌｅＫｄｉｓｓｉｍｉｌａｒｉｔｙｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄ．Ａｄｉｖｅｒｓｉｔｙｒｅｐｒｅｓｅｎｔａｔｉｖｅｓａｍｐｌｉｎｇｄａｔａｓｅｔｓｅｌｅｃｔｅｄｉｎ ｔｕｒｎｆｒｏｍｄｉｓｔｒ