- 1、本文档共39页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
数据挖掘原语、语言和系统结构(武汉大学-李春葆)
第4章 数据挖掘原语、语言和系统结构 4.1.1 为什么要数据挖掘原语和语言? 一个完全自动(不需要人为干预或指导)的数据挖掘机器只可能是“一只疯了的怪兽”。 会产生大量模式(重新把知识淹没) 会涵盖所有数据,使得挖掘效率低下 大部分有价值的模式集可能被忽略 挖掘出的模式可能难以理解,缺乏有效性、新颖性和实用性——令人不感兴趣。 没有精确的指令和规则,数据挖掘系统就没法使用。 用数据挖掘原语和语言来指导数据挖掘。 4.1.1 任务相关的数据 用户感兴趣的只是数据库或数据仓库的一个子集。 相关的操作:DB-选择、投影、连接、聚集等;DW-切片、切块 初始数据关系 数据子集选择过程产生的新的数据关系 可挖掘的视图 用于数据挖掘相关任务的数据集 任务相关的数据——例子 挖掘加拿大顾客和他们常在AllElectronics购买的商品间的关联规则 数据库(仓库)名 (e.g. AllElectronics_db)。 包含相关数据的表或数据立方体名(e.g. item, customer, purchases, item_sold)。 选择相关数据的条件(今年、加拿大)。 相关的属性或维(item表的name和price,customer表的income和age)。 4.1.2 要挖掘的知识类型 要挖掘的知识类型将决定使用什么数据挖掘功能。 概念描述(特征化和区分),关联规则,分类/预测,聚类和演化分析等 模式模板 又称元模式或元规则,用来指定所发现模式所必须匹配的条件,用于指导挖掘过程。 知识类型-关联规则元模式例子 研究AllElectronics的顾客购买习惯,使用如下关联规则: P(X: customer, W) ∧ Q(X, Y) =buys(X, Z) X---customer表的关键字 P,Q---谓词变量 W, Y, Z---对象变量 模板具体化 age(X, “30…39”) ∧ income(X, “40k…49k”)=buys(X, “VCR”) [2.2%, 60%] occupation(x, “student”) ∧ age(X, “20…29”)=buys(X, “computer”) [1.4%, 70%] 4.1.3 背景知识:概念分层 背景知识是关于挖掘领域的知识 概念分层是背景知识的一种,它允许在多个抽象层上发现知识。 概念分层以树形结构的节点集来表示,其中每个节点本身代表一个概念,根节点称为all,而叶节点则对应于维的原始数据值。 概念分层中,自顶向底进行层的标识,即all为0层,向下依次为1、2、3等层。 概念分层 ——上卷和下钻 在概念分层中应用上卷操作(概化),使得用户可以使用较高层次概念替代较低层次概念。 可以在更有意义,更高、更抽象的层次观察数据,从而使发现的模式更加容易理解。 上卷操作使得数据得到压缩,在这个压缩的数据集上进行挖掘可以减少I/O操作,使得挖掘的效率提高。 概念分层的下钻操作使用较低层概念代替较高层概念,从而使用户能够对过于一般化的数据做更详细分析。 上卷和下钻操作让用户以不同视图观察数据,洞察隐藏的数据联系。 概念分层的自动生成。 在同一个维上,可能根据用户的观点不同,存在多个概念分层。 概念分层的类型 四种常用的概念分层类型 模式分层:是数据库模式属性间的全序或偏序。模式分层可以形式地表示属性的语义关系。通常一个模式分层指定了数据仓库的一个维: E.g., street city province country 集合分组分层:将给定属性或维的值组织成常量或区间值。组之间可以定义全序或偏序。通常用于定义对象联系的小集合。 E.g.: {young,middle_aged,senior} ?all(age) {20...39} ? young, {40...59} ? middle_aged, {60...89} ? senior 操作导出的分层:根据用户、专家或数据挖掘系统说明的操作分层。操作可能包括信息编码串的解码,由复杂数据对象提取信息和数据聚类。 网址: 基于规则的分层:指整个概念分层或它的一部分由一组规则定义,并根据当前数据库数据和规则定义动态地计算。 low_profit_margin (X) = price(X, P1) and cost (X, P2) and (P1 - P2) $50 high_profit_margin (X) = price(X, P1) and cost (X, P2) and (P1 - P2) $250 4.1.4 兴趣度度量 没有兴趣度度量,挖掘出来的有用模式,很可能会给淹没在用户不感兴趣的模式中。 兴趣度的客观度量方法:根据模式的结构和统计,用一个临界值来判断某个模式是不是用户感兴趣的。 常用的四种
文档评论(0)