基于数据挖掘购物篮分析软件设计与实现.docVIP

基于数据挖掘的购物篮分析软件的设计与实现 　　 摘要：市场购物篮分析是数据挖掘技术中针对零售型企业销售数据的分析方式，在有效选择促销活动和营销策略方面有着举足轻重的重要性。通过分析，可以发现隐藏着的顾客消费模式，鉴别出促进商品组合销售的获利机会。本文描述了一个购物篮分析软件从需求分析、详细设计到编程实现的过程，重点说明了开发过程中遇到的问题以及解决问题的方法，为同行开发同类产品提供参考依据。 　　 关键词：数据挖掘；购物篮分析；聚类分析 　　 中图分类号：TP311.52 文献标识码：A 文章编号：1007-9599 (2011) 23-0000-01 　　 Market Basket Analysis Software Design and Implementation 　　 Based on Data Mining 　　 Tong Tiejie 　　 (Ningbo High-tech Zone Yao Yao Technology Co.,Ltd.,Ningbo 315040,China) 　　 Abstract:Market-basket analysis is a Data Mining technology for the retail enterprise sales,it is very important for the marketing strategy choice.Through these analyses,we can found the hidden consumer spending patterns and identify the mix of goods sold for profit opportunities.This paper describes how to build market-basket analysis software,including requirements analysis,detailed design and coding. 　　 Keywords:Data mining;Market-basket analysis;Cluster analysis 　　 一、引言 　　 商业智能技术在当前的商业社会有着广泛的应用前景，特别是对零售型企业来说非常需要，而数据挖掘技术是商业智能技术的一个重要组成部分。从顾客的购买交易中分析出顾客有可能会同时购买的一类或一组商品关联商品，商场则可根据此分析结果调整商品的摆放位置，把相关商品摆放在一起，以增加商品的销售量同时，还可为促销提供帮助促销一种商品，并避免在同一时期促销同一类相关商品，从而大幅度提高促销的效果。 　　 市场购物篮分析在数据挖掘应用领域中有着独特的地位，越来越多的企业通过分析软件的帮助来部署、改变他们的销售策略。比较典型的如日本的7-11便利连锁店，他在全世界拥有超过28200个连锁店，他们正是靠着“市场购物篮分析软件”来展开货品的部署及搭配，起到了非常好的效果。 　　 二、软件整体结构设计 　　 商场的销售数据从POS机读入，存储到后台的数据库，形成了海量的原始销售数据集。系统首先要做的就是将这些海量数据进行数据抽取、清洗和转换，建立一个新的数据仓库。在此数据仓库基础上，软件进行数据挖掘操作，形成有效的数据报表，同时生成时间、门店、商品三个纬度的聚类数据。此过程涉及到数据抽取工具（ETL）的设计，冗余数据的删除以及大量数据的比对。总体架构图见图1。 　　 　　 图1：软件总体架构图 　　 软件分成数据处理与数据展示两部分。数据处理为服务器端，主要是将多个原始数据库中的数据根据所选条件，抽取到数据仓库中，以多维数据集和数据集市的形式存储，并在数据仓库基础上进行数据挖掘操作，本软件中的数据挖掘主要是聚类分析以及购物篮分析。数据展示为BS模式，用户可以从互联网上根据不同的权限登录查看各类报表，比如用户在某次购买活动中同时购买多类产品的概率等。 　　 三、开发难点及解决方案 　　 本软件最大的难度在于数据仓库的动态建立过程，其次是在数据仓库基础上所做的数据挖掘工作。针对这两大难点，设计人员做了如下处理： 　　 （一）数据仓库的动态建立。由于原始数据是POS机传到后台数据库的不断变化的数据，因此所建立的数据仓库也要随之同步，但同步时间可控制。为此，本软件专门独立开发了ETL工具，用于对不同数据源的数据抽取，可以根据条件单表或者多表生成新的数据表到数据仓库中；同时，数据若有更新，则定时以作业的形式同步到数据仓库。这里涉及到一个多表连接查询海量数据速度的问题。软件采用的方法是多进程多线程模式，一个进程以10万条数据为一队列，以主键排列的方式放到缓存区，排序完成后另一进程负责