一种面向不确定数据流的聚类算法-journalofnortheasternuniversity.pdfVIP

第３７卷第１２期 东 北 大 学 学 报 ( 自 然 科 学 版 ) Ｖｏｌ.３７ꎬＮｏ.１２ ２０１６年 １２ 月 Ｊｏｕｒｎａｌ ｏｆ Ｎｏｒｔｈｅａｓｔｅｒｎ Ｕｎｉｖｅｒｓｉｔｙ(Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ) Ｄｅｃ. ２０ １６ 　 ｄｏｉ:１０.３９６９/ｊ.ｉｓｓｎ.１００５－３０２６.２０１６.１２.００２ 一种面向不确定数据流的聚类算法 １ １ ２ １ 韩东红 ꎬ王　 坤 ꎬ邵崇雷 ꎬ马　 畅 (１ 东北大学 计算机科学与工程学院ꎬ辽宁沈阳　 １１０１６９ꎻ２ 沈阳理工大学 机械工程学院ꎬ辽宁沈阳　 １１０１５９) 摘　 　 　 要: 作为大数据的重要组成ꎬ产生于传感器、移动电话设备、社交网络等的不确定流数据因其具有流 速可变、规模宏大、单遍扫描及不确定性等特点ꎬ传统聚类算法不能满足用户高效实时的查询要求.首先利用 ＭＢＲ (ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅ) 描述不确定元组的分布特性ꎬ并提出一种基于期望距离的不确定数据流 聚类算法ꎬ计算期望距离范围的上下界剪枝距离较远的簇以减少计算量ꎻ其次针对簇内元组的分布特征提出 了簇ＭＢＲ 的概念ꎬ提出一种基于空间位置关系的聚类算法ꎬ根据不确定元组ＭＢＲ和簇ＭＢＲ 的空间位置关 系排除距离不确定元组较远的簇ꎬ从而提高聚类算法效率ꎻ最后在合成数据集和真实数据集进行实验ꎬ结果验 证了所提出算法的有效性和高效性. 关　 键　 词: 不确定数据流ꎻ聚类ꎻ大数据ꎻ数据挖掘ꎻ最小边界矩形 中图分类号: ＴＰ ３９１　 　 　 文献标志码: Ａ　 　 　 文章编号: １００５－３０２６(２０１６)１２－１６７７－０６ Ａ Ｃｌｕｓｔｅｒ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｕｎｃｅｒｔａｉｎ Ｄａｔａ Ｓｔｒｅａｍ １ １ ２ １ ＨＡＮ Ｄｏｎｇ￣ｈｏｎｇ ꎬＷＡＮＧＫｕｎ ꎬＳＨＡＯ Ｃｈｏｎｇ￣ｌｅｉ ꎬＭＡ Ｃｈａｎｇ (１ Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ＆ＥｎｇｉｎｅｅｒｉｎｇꎬＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙꎬＳｈｅｎｙａｎｇ １１０１６９ꎬＣｈｉｎａꎻ２ Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｎｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇꎬ Ｓｈｅｎｙａｎｇ Ｌｉｇｏｎｇ ＵｎｉｖｅｒｓｉｔｙꎬＳｈｅｎｙａｎｇ １１０１５９ꎬ Ｃｈｉｎａ. Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｕｔｈｏｒ: ＨＡＮ Ｄｏｎｇ￣ｈｏｎｇꎬＥ￣ｍａｉｌ:ｈａｎｄｏｎｇｈｏｎｇ＠ｃｓｅ.ｎｅｕ.ｅｄｕ.ｃｎ) Ａｂｓｔｒａｃｔ:Ａｓａｎｉｍｐｏｒｔａｎｔ ｃｏｍｐｏｎｅｎｔ ｏｆｂｉｇｄａｔａ ｇｅｎｅｒａｔｅｄｉｎｔｈｅ ｓｅｎｓｏｒꎬｍｏｂｉｌｅｐｈｏｎｅｄｅｖｉｃｅｓꎬ ｓｏｃｉａｌ ｎｅｔｗｏｒｋｓ ｅｔｃ. ꎬｕｎｃｅｒｔａｉｎ ｓｔｒｅａｍｉｎｇ ｄａｔａ ｈａｖｅ ｍａｎｙ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓꎬｓｕｃｈ ａｓ ｖａｒｉａｂｌｅ ｒａｔｅꎬ ｌａｒｇｅ￣ｓｃａｌｅꎬｓｉｎｇｌｅ￣ｐａｓｓ ｓｃａｎｎｉｎｇꎬａｎｄ ｕｎｃｅｒｔａｉｎｔｙ. Ｔｒａｄｉｔｉｏｎａｌ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｃａｎｎｏｔ ｍｅｅｔ ｅｆｆｉｃｉｅｎｔ ｒｅａｌ￣ｔｉｍｅ ｉｎｑｕｉｒｙ ｒｅｑｕｉｒｅｍｅｎｔｓ ｆｏｒ ｔｈｅ ｕｓｅｒｓ. Ｆｉｒｓｔｌｙꎬ ＭＢＲ (ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅ) ｗａｓ ｕｓｅｄ ｔｏ ｄｅｓｃｒｉｂｅ ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｕｎｃｅｒｔａｉｎ ｔｕｐｌｅｓ. Ａｎｄ ｔｈｅｎꎬａ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｅｘｐｅｃｔｅｄ ｄｉｓｔａｎｃｅ ｗａｓ ｐｒｏｐｏｓｅｄ ｆｏｒ ｕｎｃｅｒｔａｉｎ ｄａｔａ ｓｔｒｅａｍ. Ｔｈｅ ｂｏｕｎｄｓ ｏｆ ｅｘ