数据挖掘实验关联规则.docVIP

关联规则挖掘 Association Rule Mining 实现思路 某财务公司生产了一种新产品，本题提供了600个客户的记录，对这些客户的不同属性进行数据挖掘。根据题目要求，首先应该对数据进行全面分析。有些属性可以忽略不计，因此，需要识别出哪些是特殊属性，哪些是可忽略属性。然后对非离散数据进行离散化，最后通过aprior算法进行关联规则和相关性分析，来挖掘出频繁项集。 解题过程详细分析 采用Apriori算法发现频繁项集。Apriori算法是发现频繁项集的基本算法。Apriori算法该算法使用逐层搜索的迭代方法，k项集用于探索（k+1）项集。首先，通过扫描数据库，累积每个项的计数，并收集满足最小支持度的项，找出频繁1项集的集合。记作L1，然后L1用于找频繁2项集的集合L2，如此循环下去，直到再找不到频繁项集。找每个LK需要一次数据库扫描。 Apriori算法思想如下： 1) = find_frequent_1_itemsets(D); 2) for (k = 2;; k++) { 3) = aproiri_gen(,min_sup); 4) for each transaction t∈D{ //scan D for count 5) = subset(,t); //get subsets of t that are candidates 6) for each candidate c∈ 7) c.count++; 8) } 9) ={|c.count ≥ min_sup} 10) } 11) return L = ； procedure apriori_gen(Lk-1: frequent (k-1)-itemset; min_sup: support) 1) for each itemset ∈ 2) for each itemset ∈ 3) if ( [1]= [1])∧...∧([k-2]=[k-2])∧([k-1] [k-2]) then { 4) c = ; //join step: generate candidates 5) if has_infrequent_subset(c, ) then 6) delete c; // prune step: remove unfrequent cadidate 7) else add c to ; 8) } 9) return; procedure has_infrequent_subset(c:candidate k-itemset; :frequent (k-1)-itemset) // use apriori knowledge 1) for each (k-1)-subset s of c 2) if then 3) return TRUE; 4) return FALSE; 【四】实现步骤 在weka软件平台上实现该算法，具体步骤如下： 将bank-data.txt文件里的数据复制到excel中，然后另存为bank-data.csv格式； 打开weka 3.7，点击Explorer应用，打开界面，截图如下： 打开bank-data.csv文件，（Open file(选择bank-data.csv文件），然后另存为bank-data.arff格式（Save选项完成） bank-data.arff数据中id的信息对于数据挖掘来说是没什么用的，故删去（勾选id选项，点击Remove，如下图所示） 将数据离散化： 用写字板打开bank-data.arff,看数据项的属性，可以发现，age,income,children这三个数据项的数据属性不是离散的。需要一一离散化。 从数据中可以看到，children只有4个取值，即0,1,2,3，在bank-data.arff文件中直接将 @attribute children numeric修改为@attribute children {0,1,2,3} 对于age和income的离散，Filter—choose(weak(filters(unsupervised(attribute(Discretize出现如下 双击Discretize –B 10 –M -1.0 –R first-last,出现离散参数修改窗口，进行参数修改 因为只需要对age和income，即1,4项进行修改，故将attribute的first-last修改为1,4，然后将离散的分段数改为3段，即将bins的10改为3，改完后如下所示： 然后点击OK，回到主界面后点击Apply，这样就把age和income的数据离散化。 为了显示比较清楚 将@attribute age {\(-inf-34.333333]\,\(34.333333-50.