以超图结构和聚类分析来辅助大资料的关联规则法-朝阳科技大学.PDF

以超圖結構和聚類分析來輔助大資料的關聯規則法 研究 on the study of association rules in large data based on hypergraph and cluster 陳榮昌 胡小靜 謝永紅 朝陽科技大學資訊管理系 北京科技大學計算機與 北京科技大學計算機與 通信工程學院 通信工程學院 rcchen@.tw ustbhxj@ ustbhxj@ 摘要 removing looping hyperedge or reverse 如何在大資料中挖掘有價值的關聯規則， hyperedge. After these steps, we can find out 找出其中隱藏的知識，已經被越來越多的學者 association rules with value, concision as 重視。本研究利用超圖和聚類分析來幫助局部 well as accuracy in a relatively short period of time. 關聯規則法 ,可以快速找到隱藏在大資料中的 關聯規則。因為大量資料中，若直接使用傳統 Keywords: big data, hypergraph, clustering 的聚類演算法來找關聯規則，其複雜度會相當 analysis, association rules 大，所以我們首先在預處理中，對資料庫裡面 1.前言 大量資料進行基於無向超圖結構的聚類預處 理，在較短時間複雜度內找出不同類別的群聚 如何從大資料中挖掘重要資訊和知識已經 類；然後針對不同的群聚類，構造相應的基於 被越來越多的學者研究，並且在資料庫系統和 有向超圖結構的關聯規則；最後，對形成的有 機器學習等領域中作為一個重要的研究主 向超圖進行局部精簡的動作，去除迴圈邊和逆 題 ——資料採擷，也稱為知識發現 [1] 。隨著資 邊的存在。因此，可以在較短時間內找到價值 料庫中的資料不斷增長，相應的挖掘技術和工 的、簡潔的以及準確的關聯規則。 具也隨之而出，常見的挖掘技術有分類法[2][3] ， 例如基於決策樹的分類中，決策樹的葉子個數 關鍵詞 ：大資料，超圖，聚類，關聯規則 即為資料被分類的類別數；聚類分析法 Abstract [4][5][6],例如基於資料相似性的聚類分析中， The issue of how to mine valuable 同一聚類中的資料相似性最大，不同聚類中資 料相似性最小；關聯規則法[7][8],例如應用 association rules or the hidden knowledge in big data has been concerned by more and Apriori[8]或 FP-tree[9] 等演算法挖掘出高支援 more scholars. In this research, we propose a 度和高信任度的強關聯規則。傳統的基於最小 local mining method of association rules 支持度和最小信任度的架構來挖掘關聯規則 based on hypergraph and clustering analysis 會產生大量頻繁項集即蘊含了大量的關聯規, that can find out the ass