数据挖掘导论.pptxVIP

关联分析: 高级概念第7章关联分析: 高级概念关联分析处理事务数据Rules Discovered: {Diaper} -- {Beer}处理分类属性许多应用包含对称二元属性和标称属性。表7-1显示的因特网调查数据包含对称二元属性，如：性别、家庭计算机、网上聊天、网上购物和关注隐私；还包括标称属性，如文化程度和州。我们可能发现关于因特网用户特征的有趣信息: {网上购物=是} ? {关注隐私=是}处理分类属性为了提取这样的模式，我们需要将标称属性和对称二元属性转换成“项”，使得已有的关联规则挖掘算法可以使用。这种类型的变化可以通过为每个不同的属性-值对创建一个新的项来实现。例如: 标称属性文化程度可以用三个二元项取代 文化程度=大学 文化程度=研究生 文化程度=高中类似的，对称二元属性性别可以转换成一对二元项：性别=男、性别=女。处理分类属性将关联分析用于二元化后的数据时，需要考虑如下问题。(1)有些属性值可能不够频繁，不能成为频繁模式的一部分。如：州名。解决办法：将相关的属性值分组，形成少数类别。例如，每个州名都可以用对应的地理区域取代。例如：分别用中西部、太平洋西北部、西南部和东海岸取代。处理分类属性将关联分析用于二元化后的数据时，需要考虑如下问题。(2)某些属性值的频率可能比其他属性高很多。如：假定85%的被调查人都有家庭计算机，如果为每个频繁出现在数据中的属性值创建一个二元项，我们可能产生许多冗余模式。 {家庭计算机=是，网上购物=是} ?{关注隐私=是}解决办法：使用处理具有宽支持度的极差数据集的技术。处理分类属性将关联分析用于二元化后的数据时，需要考虑如下问题。(3)计算时间可能增加，特别是当新创建的项变成频繁项时。因为会产生更多的候选项集。解决办法：避免产生包含多个来自同一个属性的项的候选项集。例如：不必产生诸如{州=X，州=Y，…}的候选项集，因为该项集支持度为零。处理连续属性因特网调查数据可能还包含连续属性，如表7-3所示。挖掘连续属性可能揭示数据的内在联系，如“年收入超过120k的用户属于45-60年龄组”或“拥有超过3个email帐号并且每周上网超过15小时的用户通常关注个人隐私”:包含连续属性的关联规则通常称作量化关联规则（quantiative association rule）。对连续数据进行关联分析的方法:基于离散化的方法非离散化方法基于统计学的方法基于离散化的方法离散化是处理连续属性最常用的方法。这种方法将连续属性的邻近值分组，形成有限个区间。例如：年龄属性可以划分为如下区间： [12,16),[16,20),[20,24),…,[56,60)离散化技术：等宽、等频、聚类表7-4显示了离散化和二元化后的因特网调查数据。属性离散化的一个关键在于划分每个属性的区间个数和宽度。然而，确定正确的区间是困难的。如果支持度阈值=5%，置信度阈值=65%。我们可以从表中推出年龄和网上聊天隐含强规则： [16,24) ?网上聊天=是（s=8.8%，c=81.5%） [44,60) ?网上聊天=否（s=16.8%，c=70%）区间宽度对关联分析结果的影响。（1）如果区间太宽，则可能因为缺乏置信度而失去某些规则例如：当区间宽度为24岁时，上面的两个规则变为 [16,36) ?网上聊天=是（s=30%，57.7%） [36,60) ?网上聊天=否（s=28%，58.3%）区间宽度对关联分析结果的影响。（2）如果区间太窄，则可能因为缺乏支持度而失去某些规则例如：当区间宽度为4岁时，上面的两个规则变为 [16,20) ?网上聊天=是（s=4.4%，84.6%） [20,24) ?网上聊天=是（s=4.4%，78.6%）（3）当区间宽度为8岁时，上面的两个规则变为 [44,52) ?网上聊天=否（s=8.4%，70%） [52,60) ?网上聊天=否（s=8.4%，70%） [12,20) ?网上聊天=是（s=9.2%，60.5%） [20,28) ?网上聊天=是（s=9.2%，60.0%）非离散化方法有一些应用，分析者更感兴趣的是发现连续属性之间的关系。例如，找出表7-6所示文本文档中词的关联。在文本挖掘中，分析者更感兴趣的是发现词之间的关联（例如：数据和挖掘）。而不是词频区间（例如,数据：[1,4]，挖掘：[2,3]）之间的关联。一种方法是将数据变换成0/1矩阵；其中，如果规范化词频超过某个阈值t，则值为1，否则为0。该方法缺点是阈值难确定。另一种方法是采用min-apriori方法。 S({word1, word2})=min(0.3, 0.6)+min(0.1 , 0.2)+ min(0.4,0.2)+min(0.2, 0) =0.6Min-apriori中支持度s随着词的规范化频率增加而增大。随包含该词的文档个数