数据挖课后作业.docVIP

数据挖掘课后作业 5.4（实现项目）使用你熟悉的程序设计语言（如C++或Java），实现本章介绍的三种频繁项集挖掘算法：（1）Apriori [AS94B]，（2）FP增长[HPY00]和（3）ECLAT [Zak00]（使用垂直数据格式挖掘）。在各种类型的大型数据集上比较每种算法的性能。写一个报告，分析在哪些情况下（如数据大小、数据分布、最小支持阀度值设置和模式的稠密度），某种算法比其他算法好，并陈述理由。 三种算法的比较 1、对与项集较大，频繁项集较分散，是一个稀疏型的数据集，性能为AprioriFP-growthEclat 2、对与数据集的项集较小，数据非常稠密的数据集，性能为：FP-growthAprioriEclat 各算法采用的数据表示模式及挖掘策略不同。采用优化措施后的 Apriori算法，对于非稠密数据己经具有较高的效率，其性能甚至优于FP-growth 算法;但由于其采用的是广度优先的挖掘策略，对稠密数据效率仍较差。而 Eclat 算法采用的纵向表示法，对数据集较小的稠密数据，效率相对较高;但对于数据集较大的稀疏数据，效率较低,FP一树浓缩了数据库的主要信息，分而治之的挖掘策略也使挖掘问题的复杂程度有所降低。 答：（1）Apriori算法的实现：使用Java语言实现Apriori算法，AprioriAlgorithm类包含了频繁项集的挖掘过程和频繁关联规则的挖掘过程；ProperSubsetCombination辅助类用于计算一个频繁项集的真子集，采用组合原理，基于数值编码原理实现的组合求解集合的真子集。 Apriori算法的核心实现类为AprioriAlgorithm，实现的Java代码如下所示： （一）核心类 package org.shirdrn.datamining.association; import java.util.HashMap; import java.util.HashSet; import java.util.Iterator; import java.util.Map; import java.util.Set; import java.util.TreeMap; /** * B关联规则挖掘：Apriori算法/B * * P该算法基本上按照Apriori算法的基本思想来实现的。 */ public class AprioriAlgorithm { private MapInteger, SetString txDatabase; // 事务数据库 private Float minSup; // 最小支持度 private Float minConf; // 最小置信度 private Integer txDatabaseCount; // 事务数据库中的事务数 private MapInteger, SetSetString freqItemSet; // 频繁项集集合 private MapSetString, SetSetString assiciationRules; // 频繁关联规则集合 public AprioriAlgorithm( ??? MapInteger, SetString txDatabase, ??? Float minSup, ??? Float minConf) { ?? this.txDatabase = txDatabase; ?? this.minSup = minSup; ?? this.minConf = minConf; ?? this.txDatabaseCount = this.txDatabase.size(); ?? freqItemSet = new TreeMapInteger, SetSetString(); ?? assiciationRules = new HashMapSetString, SetSetString(); } /** * 扫描事务数据库，计算频繁1-项集 * @return */ public MapSetString, Float getFreq1ItemSet() { ?? MapSetString, Float freq1ItemSetMap = new HashMapSetString, Float(); ?? MapSetString, Integer candFreq1ItemSet = this.getCandFreq1ItemSet(); ?? IteratorMap.EntrySetString, Integer it = candFreq1ItemSet.entrySet().iterator(); ?? while(it.hasNext()) { ??? Map.E