数据挖掘及其应用PPT.pptVIP

数 据 挖 掘 及 其 应 用 数据挖掘及其应用 Data Mining and its Applications 印　鉴 中山大学信息科学与技术学院 主要内容 动机: 为什么要数据挖掘? 什么是数据挖掘? 数据挖掘: 在什么样的数据上挖掘? 数据挖掘功能 所有的模式都是有趣的吗? 数据挖掘的主要问题 应用例子 为什么要数据挖掘? 数据的爆炸性增长: 从TB到PB 数据收集和数据可用性 自动的数据收集工具, 数据库系统, Web, 计算化的社会 丰富数据的主要来源 商业: Web, 电子商务, 事务, 股票, … 科学: 遥感, 生物信息学, 科学仿真, … 社会: 新闻, 数码相机, 我们正淹没在数据中, 但却渴望知识! “需要是发明之母”—数据挖掘—自动化的大规模数据集分析 数据库技术的演化 1960s: 数据收集, 数据库创建, 信息管理系统IMS和数据库管理DBMS 1970s: 关系数据模型, 关系DBMS实现 1980s: RDBMS, 高级数据模型 (扩展关系的, OO, 演绎等.) 面向应用的DBMS (空间, 科学, 工程等.) 1990s: 数据挖掘, 数据仓库, 多媒体数据库, 和Web数据库 2000s 流数据管理和挖掘 数据挖掘和它的应用 Web技术(XML, 数据集成) 和全球信息系统 什么是数据挖掘? 数据挖掘 (从数据中发现知识) 从海量数据中提取感兴趣(重要的, 隐含的, 以前未知的 和 潜在有用的)模式或知识 数据挖掘: 用词不当? 其他的名称 数据库中的知识发现 (挖掘) (KDD), 知识提取, 数据/模式分析, 数据考古学, 数据捕捞, 信息收获, 商业智能等. 当心: 所有的都是“数据挖掘”么? 简单的搜索和查询处理 (演绎的) 专家系统 为什么要数据挖掘?—潜在的应用 数据分析和决策支持 市场分析和管理 目标市场定位, 客户关系管理 (CRM), 购物篮分析, 交叉销售 风险分析和管理 预测, 客户保持, 质量控制, 竞争分析 欺诈检测和不寻常模式的检测 (离群点) 其他的应用 文本挖掘 (新闻组, email, 文档) 和Web挖掘 流数据挖掘 生物信息学和生物数据分析 Ex. 1: 市场分析和管理 数据从哪来?—信用卡交易事务, 会员卡, 优惠券, 客户投诉电话, 公众生活方式研究 目标市场 寻找“榜样”客户的聚类,他们共享相同的特征: 兴趣, 收入水平, 消费习惯等 确定客户在一段时间的购买模式 交叉市场分析—寻找产品销售之间的关联/相关性,以及基于这些关联进行预测 客户轮廓(profile)—什么类型的客户买什么产品 (聚类或分类) 客户需求分析 为不同的用户识别最好的产品 预测什么因素将吸引新的客户 摘要信息提供 多维摘要信息报告 统计学总结信息 (数据中心的趋势和变化) Ex. 2: 公司分析和风险管理 财经计划和资产评估 现金流分析和预测 资源计划 总结比较资源和开销 竞争 监控竞争对手和市场方向 细分客户类别，制定基于类别的定价过程 在激烈竞争市场中建立价格策略 Ex. 3：欺诈检测和挖掘异常模式 方法: 为欺诈和离群点分析进行聚类和模型构建 应用: 医疗保健, 零售业, 信用卡服务, 电信业. 汽车保险:检测出那些故意制造车祸而索取保险的人 洗钱: 可疑的资金流向 医疗保险 检测出职业病人 不必要、不相关的医学检验 电信业: 电话欺诈 电话模式:呼叫目的地，持续时间，每天或每周的次数。分析与预期标准相背离的模式 零售业 分析师评估认为38%的零售业萎缩是因为不诚实的雇员 反恐怖主义 知识发现 (KDD) 过程 数据挖掘—知识发现过程的核心 数据挖掘: 多种技术的融合 为什么不是传统的数据分析? 庞大的数据 算法必须能够高度可伸缩以便处理TB数量级的数据 高维度的数据 Micro-array 可能有成千上万个维度 数据的高复杂性 数据流和传感器数据 时间序列数据, 时间数据, 序列数据 结构数据, 图, 社会网络和多链接数据 异构数据库和遗产数据库 空间, 时空, 多媒体, 文本和 Web 数据 软件程序, 科学仿真 新的和复杂的应用 数据挖掘: 在什么样的数据上进行? 面向数据库的数据集及其应用 关系数据库, 数据仓库, 事务数据库 高级数据集和高级应用 数据流和传感器数据 时间序列数据, 时间数据, 序列数据（包括生物序列数据） 结构数据, 图, 社会网络和多链接数据 对象-关系数据库 异构数据库和遗产数据库 空间, 时空数据 多媒体 文本数据库 World-Wide Web 数据挖掘功能 多维概念描述: 特征和区分 概括, 汇总, 和对比数据特征, 如, 干旱VS潮湿地区 频繁模式, 关联规则, 相关性 vs