动态排序的最大频繁项集挖掘算法的应用.pdfVIP

2010年第2l期 OfT论坛。 科技蕾囊 动态排序的最大频繁项集挖掘算法的应用 郑杰1张勇军2 【摘要】频繁项集的挖掘是数据挖掘中的一个基础和核心同题，具有广泛的应用领域。由于它是敷据挖掘过程中最耗时的部分，挖掘算法 的好坏直接影响数据挖掘尤其是关联挖掘的效率和应用范围。 【关键词】数据挖掘；频繁项集；最大频繁项集；剪枝策略；动态排序 1数据挖掘技术概述 (3)数据存储：主要包含数据仓库、元数据及数据仓库的监控与管 理。 1．1数据挖掘(DM：Data Mining)就是从大量的、不完全的、有噪声的、 (4)顶层为前端展现工具：前端展现工具是数据仓库系统的门户， 模糊的．随机的原始数据中，提取隐含在其中的、人们事先不知道的、 其主要功能是对用户的查询、统计、多维分析和挖掘结果进行展现，展 但又是潜在有用的信息和知识的过程。 现的方式有多种。比如表格、图形、仪表盘等等。 1．2数据挖掘的目的是从数据库中发现隐含的、有意义的知识．主要 3．4数据仓库模型设计 有以下六类功能： (1)确立度量 (1)自动预测趋势和行为 由于一卡通业务保存的数据大多数是业务数据和一定的客户资 (2)关联分析 料．其历史数据种类相对比较单一，结合一卡通业务所要挖掘的主题， (3)聚类分析 可以确立交易额和交易笔数作为数据仓库的度量值。 (4)概念描述 (2)确实事实数据粒度 (5)偏差检测 在数据仓库中，数据有4个级别：高度综合级、轻度综合级、当前 (6)序列分析 细节级和早期细节级。粒度设计是设计数据仓库模型中最关键步骤之 2关联规则挖掘概述 一。数据仓库中的粒度越小，数据越详细，反之粒度越大，数据的综合 度就越高；粒度设计一直是一个设计难题．它深深地影响存放在数据 如上所述，关联规则挖掘发现大量数据中数据集之间有趣的关联 仓库中的数据量的大小．同时影响数据仓库所能回答的查询类型。 或相关联系，它是数据挖掘领域内的一个重要课题；丽频繁项集挖掘 (3)事实表设计 又是关联规则挖掘的关键步骤。 事实表是相关维表的交点。记录着某个特定业务的度量，具有记 关联规则挖掘问题是R．A鼬awa]等人于1993年首次提出来的，关 录条数多的特点。事实表的属性可以分为外键和记录交易细节两部 联规则挖掘是数据挖掘领域内的一个重要课题之一，用于发现大规模 分．并且事实表的外键与维度表的主键相连。本系统所设定的事实表： 数据库中不同属性间的联系，找出属性间有价值的关联关系。关联规 业务记录事实表。 则挖掘的目标是找出形如“由某些事件的发生而引起另外一些事件的 3．5数据预处理 发生”之类规则。例如在超市里．67％的客户在购买尿布的同时也会购 ·(1)ETL的处理策略 买啤酒。因此通过将尿布与啤酒这两类商品放于同一货架上，通过捆 数据仓库中的数据是以面向主题的方式组织的