高頻項目集的精簡表示方式.pptVIP

(C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 (C) Vipin Kumar, Parallel Issues in Data Mining, VECPAR 2002 基本專有名詞 二元表示方式：購物籃資料可以被表示成二元格式 項目集：在關聯分析中，一堆0 或更多項目被稱為一項目集 支持個數：其代表交易中包含特定項目集之數量 基本專有名詞 關聯規則：關聯規則為 X→Y 的表示式，X 和Y 為無交集的項目集，即 。 強度由支持度（ support ）和信賴度（confidence）進行測量 支持度， 信賴度， 關聯規則探勘(1) 給定交易集合T，找尋支持度≧最小支持度（minsup）且信賴度≧最小信賴度（minconf）的所有規則。最小支持度和最小信賴度代表的是支持度和信賴度的門檻值 以窮舉法（brute-force approach）探勘關聯規則時會計算每一可能規則的支持度和信賴度， 初始步驟有助於改善關聯規則探勘演算法的執行，以減少計算支持度和信賴度的需求 關聯規則探勘(2) 關聯規則探勘的演算法將問題切割成二個主要的子工作： 高頻項目集的產生（Frequent Itemset Generation），尋找所有滿足最低支持度門檻值的項目集 規則產生（Rule Generation），從前一步驟找到的高頻項目集中，萃取所有具有高信賴度的規則，這些規則被稱為強規則（strong rule） 高頻項目集的產生 晶格（lattice）結構可被用來列舉所有可能的項目集合 一個項目集 I = {a,b,c,d,e} 的晶格 Apriori 原則(1) 若一項目集是高頻項目集，則他的所有子集合也必定是高頻的 Apriori 原則(2) 若{a,b}是非高頻（infrequent）項目，則{a,b}的所有超集合也會是非高頻項目 Apriori 演算法中的高頻項目集產生 候選集的產生與刪除(1) 候選集產生。這個步驟是以高頻 (k-1)-項目集為基礎，來產生新候選k-項目集。 應該要避免產生太多不必要的候選集 必須保證候選集合是完整的 不應產生同樣的候選集合超過一次以上 候選集刪除。這個步驟使用以支持度為基礎之刪除策略來淘汰一些候選k-項目集。 候選集的產生與刪除(2) 產生候選集的方法 — 窮舉法 候選集的產生與刪除(3) 產生候選集的方法 — Fk-1 ×F1 法 候選集的產生與刪除(4) 產生候選集的方法 — Fk-1 ×Fk-1 法 支持度計算 支持度計算是用來判斷在apriori-gen 函數的候選集刪除步驟中，留下來之每個候選集合的發生頻率 使用雜湊樹做支持度計算 在支持度計算過程中，每一筆交易包含的項目集合也會被雜湊至適合的桶子中 此方式取代交易中每一項目與每一候選集的比較，而只將項目集合與其對應桶子中的候選集合做配對 計算的複雜度 Apriori 演算法的計算複雜度會被下列因素影響： 支持度門檻值 項目的數量（維度） 交易數量 平均交易寬度 1-高頻項目集的產生 候選集產生 支持度計算 規則產生 規則是從一個高頻項目集產生 所有這樣的規則必須滿足最低支持度門檻值 以信賴度為基礎之刪除（confidence-based pruning） Apriori 演算法的規則產生 使用信賴度來刪除關聯規則 高頻項目集的精簡表示方式(1) 最大高頻項目集：最大高頻項目集可被定義為一個高頻項目集，因它的最近超集合（immediate supersets）沒有一個是高頻。 封閉項目集：項目集X 是封閉的，若它的最近超集合與X 完全沒有相同的支持個數。 封閉高頻項目集：一項目集為封閉高頻項目集，若它是封閉的且它的支持度大於或等於最小支持度。 高頻項目集的精簡表示方式(2) 最大高頻項目集 高頻項目集的精簡表示方式(3) 封閉高頻項目集 高頻項目集的精簡表示方式(4) 高頻項目集、最大高頻項目集與封閉高頻項目集之間的關係 產生高頻項目集的替代方法 項目集晶格之走訪（traversal）： 演繹法（ General-to-Specific）與歸納法（Specific-to-General ） 等價類別（equivalence class） 廣度優先（breadth-first）與深度優先（depth-first） 交易資料集的表示方式 當在計算候選項目集的支持度時，交易資料集的表示方式的選擇會影響I/O 成本 演繹法、歸納法以及雙向搜尋 等價類別：字首樹與字尾樹 廣度優先與深度優先 使用深度優先方法產生候選項目集 水準與垂直的資料格式 FP-Growth 演算法 FP-growth 演算法以不同的方