数据挖掘2015最新精品课程完整课件(第5讲)---关联规则挖掘的其它问题.pptVIP

关联规那么挖掘的其它问题

主要内容基于多最小支持度的关联规那么关联规那么的评价

支持度的分布大多数数据集中支持度的分布都不平衡一个零售数据集中支持度的分布

支持度的分布如何合理设置最小支持度阈值minsup?minsup过高,可能会丧失稀有的、令人感兴趣的工程(如，贵重商品或耐用品)。minsup过低,那么计算开销过大，结果项集过多。使用单一的最小支持度效果不佳。

多最小支持度模型每个工程都有一个最小支持度(MinimumItemSupports,MIS)。通过为不同的工程提供不同的MIS值，用户可以表达对不同规那么的不同支持度的需求。

规那么的最小支持度设MIS(i)代表工程i的MIS.规那么R的最小支持度阈值minsup是规那么所包含工程的最小MIS。规那么R:a1,a2,…,ak?ak+1,…,ar满足最小支持度阈值，假设其实际的支持度? min(MIS(a1),MIS(a2),…,MIS(ar)).

多最小支持度举例MIS(Milk)=5%, MIS(Coke)=3%,

MIS(Broccoli)=0.1%,MIS(Salmon)=0.5%MIS({Milk,Broccoli})=min(MIS(Milk),MIS(Broccoli))

=0.1%支持度不再满足反单调性假设: Support(Milk,Coke)=1.5%且

Support(Milk,Coke,Broccoli)=0.5%{Milk,Coke}不频繁，但{Milk,Coke,Broccoli}频繁

MSapriori算法按支持度升序排列工程e.g.:MIS(1)=10%MIS(2)=20%

MIS(3)=5%MIS(4)=6%顺序:3,4,1,2对Apriori进行修改:L1:1-频繁项集〔支持度?minMIS(i)〕F1:{i|sup(i)?MIS(i)}C2:2-候选项集从F1，而不是L1中连接得到

举例假设数据集包含100条事务，第一次扫描数据库得到如下工程的支持度: {3}.count=6,{4}.count=3, {1}.count=9,{2}.count=25.那么L1={3,1,2},andF1={3,2}由于4.count/nMIS(3)(=5%)，故L1中不包含4。由于1.count/nMIS(1)(=10%)，故F1中不包含1。MIS(1)=10%MIS(2)=20%

MIS(3)=5%MIS(4)=6%

多最小支持度—Apriori性质AItemMIS(I)Sup(I)A0.10%0.25%B0.20%0.26%C0.30%0.39%D0.50%0.05%E3%4.20%BCDEABACADAEBCBDBECDCEDEABCABDABEACDACEADEBCDBCEBDECDE

多最小支持度—Apriori性质ABCDEABACADAEBCBDBECDCEDEABCABDABEACDACEADEBCDBCEBDECDEItemMIS(I)Sup(I)A0.10%0.25%B0.20%0.26%C0.30%0.39%D0.50%0.05%E3%4.20%

主要内容基于多最小支持度的关联规那么关联规那么的评价挖掘各种关联规那么

支持度-置信度框架的局限性支持度的缺点在于许多潜在有意义的模式由于包含支持度小的项而被删去。置信度的缺陷在于忽略了规那么后件中项集的支持度。如咖啡和茶的问题。

置信度和支持度的失效Example(AggarwalYu,PODS98)5000名学生中3000打蓝球3750吃稻米2000既打篮球又吃稻米打篮球?吃稻米[40%,66.7%]被误导了，因为吃稻米的学生总数为75%，高于66.7%.打篮球?不吃稻米[20%,33.3%]那么更为精确,尽管其支持度和置信度更低

感兴趣度的应用InterestingnessMeasures

Lift作为相关度量称规那么A－B的提升度大于1，A和B正相关，A的出现意味着B的出现等于1，A和B独立小于1，A和B负相关，A的出现以往着B的减少

感兴趣度的类型很多针对不同的应用，不同感兴趣度的效果不一样兴趣度的

度量列表

适宜的感兴趣度Piatetsky-Shapiro:一个适宜的感兴趣度应具备3个特性:假设A和B是统计独立的，那么