云计算环境下的关联挖掘在图书销售中的研究.PDFVIP

第３１卷第１１期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．１１ ２０１４年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０１４ 云计算环境下的关联挖掘在图书销售中的研究 郭　健　任永功 （辽宁师范大学计算机与信息技术学院　辽宁 大连 １１６０８１） 收稿日期：２０１３－０３－１８。辽宁省科技计划项目（２０１２２３２００１）；辽 宁省自然科学基金项目（２０１２０２１１９）。郭健，硕士生，主研领域：Ｗｅｂ数 据挖掘。任永功，教授。 摘　要　　随着大数据时代的到来，如今人们已经淹没在海量的信息当中。云计算技术的出现，为解决在海量数据中高效地挖掘出 有价值的信息问题提供了新的思路。利用云计算的分布式处理和虚拟化技术的优势，提出一种基于 Ｍａｐ／Ｒｅｄｕｃｅ编程模型与编码 操作相结合的分布式关联规则挖掘算法———ＭＣＭＡｐｒｉｏｒｉ算法；设计并实现一个基于 Ｈａｄｏｏｐ云平台的网上图书销售系统。为进一 步验证该系统的高效性，在该系统中利用 ＭＣＭＡｐｒｉｏｒｉ算法进行图书推荐服务的应用。实验对比结果表明，该系统实现了快速分析 与查询、可靠存储的功能，可以明显提高关联规则挖掘效率。 关键词　　 云计算　Ｈａｄｏｏｐ　Ｈｂａｓｅ　Ａｐｒｉｏｒｉ　图书销售 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．１１．０１２ ＲＥＳＥＡＲＣＨＯＮＡＳＳＯＣＩＡＴＩＯＮＲＵＬＥＭＩＮＩＮＧＩＮＢＯＯＫＳＡＬＥＳＵＮＤＥＲ ＣＬＯＵＤＣＯＭＰＵＴＩＮＧＥＮＶＩＲＯＮＭＥＮＴ ＧｕｏＪｉａｎ　ＲｅｎＹｏｎｇｇｏｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＬｉａｏｎｉｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ１１６０８１，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｗｉｔｈｔｈｅａｄｖｅｎｔｏｆｂｉｇｄａｔａｅｒａ，ｐｅｏｐｌｅａｒｅｎｏｗｏｖｅｒｗｈｅｌｍｅｄｂｙｍａｓｓｉｖｅｉｎｆｏｒｍａｔｉｏｎ．Ｔｈｅｅｍｅｒｇｅｎｃｅｏｆｃｌｏｕｄｃｏｍｐｕｔｉｎｇｔｅｃｈ ｎｏｌｏｇｙｐｒｏｖｉｄｅｓｎｅｗｉｄｅａｆｏｒｅｆｉｃｉｅｎｔｌｙｍｉｎｉｎｇｔｈｅｖａｌｕａｂｌｅｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｍａｓｓｄａｔａ．Ｂｙｕｔｉｌｉｓｉｎｇｉｔｓａｄｖａｎｔａｇｅｓｉｎｄｉｓｔｒｉｂｕｔｅｄｐｒｏｃｅｓｓｉｎｇ ａｎｄｖｉｒｔｕａｌｉｓａｔｉｏｎ，ｗｅｐｒｅｓｅｎｔａｄｉｓｔｒｉｂｕｔｅｄａｓｓｏｃｉａｔｅｒｕｌｅｍｉｎｉｎｇａｌｇｏｒｉｔｈｍ（ＭＣＭＡｐｒｉｏｒｉ），ｗｈｉｃｈｉｓｂａｓｅｄｏｎｔｈｅｃｏｍｂｉｎａｔｉｏｎｏｆＭａｐ／Ｒｅ ｄｕｃｅｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌａｎｄｃｏｄｉｎｇｏｐｅｒａｔｉｏｎ．ＷｅａｌｓｏｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｎｏｎｌｉｎｅｂｏｏｋｓｔｏｒｅｓａｌｅｓｓｙｓｔｅｍｗｉｔｈＨａｄｏｏｐｆｒａｍｅｗｏｒｋｕｓｉｎｇ ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ．Ｔｏｆｕｒｔｈｅｒｖｅｒｉｆｙｔｈｅｅｆｉｃｉｅｎｃｙｏｆｔｈｅｓｙｓｔｅｍ，ｗｅｕｓｅＭＣＭＡｐｒｉｏｒｉａｌｇｏｒｉｔｈｍｔｏｉｍｐｌｅｍｅｎｔｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｂｏｏｋｒｅｃｏｍ ｍｅｎｄａｔｉｏｎｓｓｅｒｖｉｃｅｉｎｉｔ．Ｃｏｎｔｒａｓｔｅｄｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｉｓｓｙｓｔｅｍａｃｈｉｅｖｅｓｔｈｅｆｕｎｃｔｉｏｎｓｏｆｆａｓｔａｎａｌｙｓｉｓａｎｄｑｕｅｒｙａｓｗｅｌ ａｓｒｅｌｉａｂｌｅｓｔｏｒａｇｅ，ａｎｄｃａｎｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｔｈｅｅｆｉｃｉｅｎｃｙｏｆａｓｓｏｃｉａｔｉｏｎｒｕｌｅｓｍｉｎｉｎｇ． Ｋｅｙｗｏｒｄｓ　　Ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ　Ｈａｄｏｏｐ　Ｈｂａｓｅ　Ａｐｒｉｏｒｉ　Ｂｏｏｋｓａｌｅｓ ０　引　言 随着互联网技术的飞速发展，如今消费者通过网络购买书 籍的行为已经成为一种主流的消费方式，网上图书销售平台正 逐渐向个性化与智能化的方向发展，其中图书推荐服务是其重 点之一［１，２］。关联规则挖掘是数据挖掘领域的一个经典的研究 课题［３］，它主要是通过对数据项的统计来获得频繁项集，进而 描述事物之间的联系以及它们之间的相关性，通过这种方法可 以方便准确地为用户推荐出他们需要的产品。其中，沃尔玛超 市的“啤酒与尿布”这一经典的商业案例就是最早运用数据分 析以及关联规则的方法创造了巨大的商业价值。 权威机构２０１１年发布的统计数据显示，全球数据总量每过 两年就会增长一倍，预计到２０２０年人类拥有的数据总量将会达 到惊人的３５万亿 ＧＢ［４，５］。云计算技术［６］的出现给