【大数据分析技术系列】之电商数据挖掘关联算法.pdfVIP

【大数据分析技术系列】 之电商数据挖掘关联算法 目 录 概述 1 关联算法的两个概念1 关联规则的发现过程可分为两步：2 第一步是迭代识别所有的频繁项目集（Frequent Itemsets ），要求频繁项目集 的支持度不低于用户设定的最低值2 第二步是从频繁项目集中构造置信度不低于用户设定的最低值的规则，产生 关联规则2 关联规则数据挖掘阶段2 案例 3 概念层次的数据挖掘4 支持度的设置策略5 同层关联规则可以采用两种支持度策略：5 统一的最小支持度5 递减的最小支持度6 概述 所谓关联，反映的是一个事件和其他事件之间依赖或关联的知识。当我们查 找英文文献的时候，可以发现有两个英文词都能形容关联的含义。第一个是相关 性 relevance，第二个是关联性 association，两者都可以用来描述事件之间的 关联程度。其中前者主要用在互联网的内容和文档上，比如搜索引擎算法中文档 之间的关联性，我们采用的词是 relevance；而后者往往用在实际的事物之上， 比如电子商务网站上的商品之间的关联度我们是用association 来表示的，而关 联规则是用 association rules 来表示的。 如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他 属性值进行预测。简单地来说，关联规则可以用这样的方式来表示：A→B，其中 A 被称为前提或者左部（LHS），而B 被称为结果或者右部（RHS）。如果我们要描 述关于尿布和啤酒的关联规则（买尿布的人也会买啤酒），那么我们可以这样表 示：买尿布→买啤酒。 关联算法的两个概念 在关联算法中很重要的一个概念是支持度（Support），也就是数据集中包含 某几个特定项的概率。 比如在 1000 次的商品交易中同时出现了啤酒和尿布的次数是 50 次，那么此 关联的支持度为 5%。 和关联算法很相关的另一个概念是置信度（Confidence），也就是在数据集 中已经出现A 时，B 发生的概率，置信度的计算公式是 ：A 与 B 同时出现的概率 /A 出现的概率。 数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量 的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因 果关联等。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库 中数据的关联函数，或者即使知道也是不确定的，因此关联分析生成的规则带有 置信度。 关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。它在数据挖 掘中是一个重要的课题，最近几年已被业界所广泛研究。 关联规则挖掘的一个典型例子是购物篮分析。关联规则研究有助于发现交易 数据库中不同商品（项）之间的联系，找出顾客购买行为模式，如购买了某一商 品对购买其他商品的影响。分析结果可以应用于商品货架布局、货存安排以及根 据购买模式对用户进行分类。 1 关联规则的发现过程可分为两步： 第一步是迭代识别所有的频繁项目集（Frequent Itemsets ），要求频繁项目 集的支持度不低于用户设定的最低值； 第二步是从频繁项目集中构造置信度不低于用户设定的最低值的规则，产 生关联规则。识别或发现所有频繁项目集是关联规则发现算法的核心，也是计算 量最大的部分。 支持度和置信度两个阈值是描述关联规则的两个最重要的概念。一项目组出 现的频率称为支持度，反映关联规则在数据库中的重要性。而置信度衡量关联规 则的可信程度。如果某条规则同时满足最小支持度（min-support）和最小置信 度（min-confidence），则称它为强关联规则。 关联规则数据挖掘阶段 第一阶段必须从原始资料集合中，找出所有高频项目组（Large Itemsets）。 高频的意思是指某一项目组出现的频率相对于所有记录而言，必须达到某一水平。 以一个包含A 与 B 两个