基于HBase和SimHash的大数据K￣近邻算法-山东大学.PDFVIP

　 第４８卷　 第３期 山　 东　 大　 学　 学　 报　 (工　 学　 版) ２０１８年６月　 　 　 　 　 　 　 Ｖｏｌ.４８　 Ｎｏ.３ ＪＯＵＲＮＡＬ ＯＦ ＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ (ＥＮＧＩＮＥＥＲＩＮＧ ＳＣＩＥＮＣＥ) Ｊｕｎ. ２０１８　 　 文章编号:１６７２￣３９６１(２０１８)０３￣００５４￣０６　 　 　 ＤＯＩ:１０６０４０/ｊ.ｉｓｓｎ.１６７２￣３９６１０２０１７４１４ 基于ＨＢａｓｅ和ＳｉｍＨａｓｈ 的大数据Ｋ￣近邻算法 ａꎬｂ ａꎬｂ ａꎬｂ∗ ａꎬｂ 王婷婷 ꎬ翟俊海 ꎬ张明阳 ꎬ郝璞 (河北大学 ａ. 河北省机器学习与计算智能重点实验室ꎻｂ. 数学与信息科学学院ꎬ河北 保定 ０７１００２) 摘要:针对大数据Ｋ￣近邻(Ｋ￣ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓꎬＫ￣ＮＮ)计算复杂度高的问题ꎬ提出一种基于ＨＢａｓｅ和 ＳｉｍＨａｓｈ 的大数据Ｋ￣近 邻分类算法ꎮ 利用ＳｉｍＨａｓｈ算法将大数据集从原空间映射到Ｈａｍｍｉｎｇ 空间ꎬ得到哈希签名值集合ꎻ将样例的行键与值的二元 对存储到ＨＢａｓｅ数据库中ꎬ行健(ｒｏｗｋｅｙ)为样例的哈希签名值ꎬ值(ｖａｌｕｅ)为样例的类别ꎻ对于测试样例ꎬ以其哈希签名值作 为健ｒｏｗｋｅｙꎬ从ＨＢａｓｅ数据库中获取所有样例的ｖａｌｕｅꎬ通过对这些ｖａｌｕｅｓ进行多数投票ꎬ即可以得到测试样例的类别ꎮ 与基 于ＭａｐＲｅｄｕｃｅ 的Ｋ￣ＮＮ和基于Ｓｐａｒｋ 的Ｋ￣ＮＮ在运行时间和测试精度两方面进行试验比较ꎮ 试验结果显示ꎬ在保持分类能力 的前提下ꎬ提出的算法的运行时间远远低于其他两种方法ꎮ 关键词:大数据ꎻＫ￣近邻ꎻ分类算法ꎻＨＢａｓｅꎻＳｉｍＨａｓｈ 中图分类号:ＴＰ１８１　 　 　 文献标志码:Ａ 引用格式:王婷婷ꎬ翟俊海ꎬ张明阳ꎬ等. 基于ＨＢａｓｅ和ＳｉｍＨａｓｈ 的大数据Ｋ￣近邻算法[Ｊ]. 山东大学学报(工学版)ꎬ２０１８ꎬ４８(３):５４￣５９. ＷＡＮＧ ＴｉｎｇｔｉｎｇꎬＺＨＡＩ ＪｕｎｈａｉꎬＺＨＡＮＧ Ｍｉｎｇｙａｎｇꎬｅｔ ａｌ. Ｋ￣ＮＮ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｂｉｇ ｄａｔａ ｂａｓｅｄ ｏｎ ＨＢａｓｅ ａｎｄ ＳｉｍＨａｓｈ[Ｊ]. Ｊｏｕｒｎａｌ ｏｆ Ｓｈａｎｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ(Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｃｉｅｎｃｅ)ꎬ２０１８ꎬ４８(３):５４￣５９. Ｋ￣ＮＮ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｂｉｇ ｄａｔａ ｂａｓｅｄ ｏｎ ＨＢａｓｅ ａｎｄ ＳｉｍＨａｓｈ ａꎬｂ ａꎬｂ∗ ａꎬｂ ａꎬｂ ＷＡＮＧ Ｔｉｎｇｔｉｎｇ ꎬＺＨＡＩ Ｊｕｎｈａｉ ꎬＺＨＡＮＧ Ｍｉｎｇｙａｎｇ ꎬＨＡＯ Ｐｕ (ａ. Ｋｅｙ Ｌａｂ. ｏｆＭａｃｈｉｎｅＬｅａｒｎｉｎｇａｎｄＣｏｍｐｕｔａｔｉｏｎａｌＩｎｔｅｌｌｉｇｅｎｃｅꎻｂ.ＣｏｌｌｅｇｅｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎ ＳｃｉｅｎｃｅꎬＨｅｂｅｉＵｎｉ￣ ｖｅｒｓｉｔｙꎬＢａｏｄｉｎｇ０７１００２ꎬＨｅｂｅｉꎬＣｈｉｎａ) Ａｂｓｔｒａｃｔ:Ａｉｍｉｎｇ ａｔ ｓｏｌｖｉｎｇ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｈｉｇｈ ｃｏｍｐｕｔａｔｉｏｎａｌ ｃｏｍｐｌｅｘｉｔｙ ｏｆ Ｋ￣ＮＮ (Ｋ￣ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ) ａｌｇｏｒｉｔｈｍ ｉｎ ｂｉｇ ｄａｔａ ｓｃｅｎａｒｉｏｓꎬｂａｓｅｄｏｎＨＢａｓｅａｎｄＳｉｍＨａｓｈꎬａＫ￣ＮＮａｌｇｏｒｉｔｈｍｆｏｒｂｉｇｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎｗａｓｐｒｏｐｏｓｅｄ.Ｔｈｅｂｉｇｄａｔａ ｓｅｔｓｗｅｒｅｍａｐｐｅｄ ｆｒｏｍ ｔｈｅ ｏｒｉｇｉｎａｌ ｓｐａｃｅ ｉｎｔｏ ｔｈｅ Ｈａｍｍｉｎｇ ｓｐａｃｅꎬａｎｄ ｔｈｅ ｓｅｔｓ ｏｆ ｈａｓｈ ｃｏｄｅｓ ｗｅｒｅ ｏｂｔａｉｎｅｄ. Ｔｈｅ ｐａｉｒｓ ｏｆ ｒｏｗｋｅｙｓ ａｎｄ ｖａｌｕｅｓ ｗｅｒｅ ｓｔｏｒｅｄ ｉｎ ＨＢａｓｅ ｄａｔａｂ