【全套精品课件】数据挖掘概念与技术.ppt

挖掘原语，语言和体系结构 数据挖掘原语 数据挖掘语言 数据挖掘系统体系结构 总结 数据挖掘原语划分 挖掘相关的数据 挖掘的知识类型 背景知识 模式的兴趣度量 结果的表示与可视化 任务相关数据 数据库（或数据仓库）名称 例如：AllElectronics_db 数据库表（或数据仓库的立方体） 例如：表item,customer,purchase,items_sold 数据选择条件 例如：选取本年度加拿大地区购买商品的数据 选取条件可能在概念上层次高于DB/DW的数据 如：”type=home entertainment”，DB/DW中数据{tv,cd player,vcr} 有关的属性（或维） 例如：item表的name,price属性;customer表的income,age属性。 系统应具备自动选取相关属性的机制，比如通过评估各属性与特定操作的相关程度。 数据分组的标准 例如：根据日期进行分组 挖掘的知识类型 描述(characterization) 区别分析(discrimination) 关联(association) 分类/预测(classification/prediction) 聚类(clustering) 例: 用户如果想发掘AllElectronics数据库中用户的购买习惯，可能会选择下面关联规则： P(X:customer,W)^Q(X,Y)=buys(X,Z) X是customer表的主键，P,Q是谓词变量(在相关数据中定义)，W,Y,Z是目标变量。可能的挖掘结果是： age(X,”30…39”) ^ income (X,”40k…49k”) = buys(X,”VCR”) [2.2%,60%] accupation(X,”student”)^age(X,”20…29”)=buys(X,”computer”) [1.4%,70%] 背景知识：概念层次 概念层次 模式层次(schema hierarchy) 例：Streetcityprovince_or_statecountry 集合-分组层次(set-grouping hierarchy) 例： {young,middle_aged,senior}all(age) {20-39} = young, {40-59} = middle_aged 基于操作层次(operation-derived hierarchy) 包括信息解码，复杂数据对象的信息提取，数据聚类，数据分布分析算法等 例： email address: login-name department university country 基于规则层次(rule-based hierarchy) 例： low_profit_margin (X) = price(X, P1) and cost (X, P2) and (P1 - P2) $50 用户对数据间关系的预测 可以用于评价挖掘模式的兴趣度量 模式兴趣度量 简洁性(simplicity) 如：(关联) 规则长度, (决策) 决策树规模大小 确定性(certainty) 如：confidence, P(A|B) = n(A and B)/ n (B), classification reliability or accuracy ( also known as rule reliability , rule strength, rule quality, certainty factor, discriminating weight )等. 有用性(utility) 如：support (association),s(A=B)=n(A nd B)/n(all), noise threshold (description) 新颖程度(novelty) 如：not previously known, surprising (used to remove redundant rules, e.g., Canada vs. Vancouver rule implication support ratio 结果模式的可视化 挖掘系统应能够用多种形式来显示发掘出来的模式 如：规则，表，报表，图表，图，决策数和立方体 挖掘系统应能够支持挖掘结果的多种操作 如：drill-down , roll-up , slicing , dicing ,rotation… 挖掘原语，语言和体系结构 数据挖掘原语 数据挖掘语言 数据挖掘系统体系结构 总结 DMQL——一个数据挖掘语言 动机 为了能提供交互式数据挖掘能力 通过提供一个类似SQL的语言 希望能像SQL语言一样成为挖掘标准语言 希望成为系统开发和演化(evolution