(生物信息学课件)第10讲数据挖掘.ppt

数据挖掘（任务） 关联分析 预测 相关算法 决策树（例1） 决策树分类的思想类似于找对象，我们可以想象一位母亲在为自己的女儿找对象。对话可能如下： 决策树（例2） 决策树模型 你玩过CS么？ 关于CS的决策 模型构建 将数据分成两块 构建模型 首先要知道一点，计算机只是一个能重复执行人们给它赋予的代码的机器。 既然是三个谋臣都作用，我们就需要看一下他们三个谁更靠谱。 信息论（熵） 熵 数据挖掘 中国移动 有没有想过，你每年为 贡献了多少钞票？ 你又有没有想过，你每年为 马云先生 制造了多少利润额？ 11.11 为什么会如此成功？ 它背后隐藏的秘密是什么？ 他们为什么会越来越成功，为什么能够 抓住消费者的消费动向提前做预判？ 因为他们掌握了数据 经典案例（一） 尿不湿和啤酒 超级商业零售连锁巨无霸沃尔玛公司（WalMart）拥有世上最大的数据仓库系统之一。为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行了购物篮关联规则分析，从而知道顾客经常一起购买的商品有哪些。在沃尔玛庞大的数据仓库里集合了其所有门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用数据挖掘工具对这些数据进行分析和挖掘。一个令人惊奇和意外的结果出现了：“跟尿不湿一起购买最多的商品竟是啤酒”！ 经典案例（二） 电子商务网站流量分析 人们在访问某网站的同时，便提供了个人对网站内容的反馈信息：点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都被保存在网站日志中。从保存的信息来看，网站虽然拥有了大量的网站访客及其访问内容的信息，但拥有了这些信息却不等于能够充分利用这些信息。 1、访客的系统属性特征。比如所采用的操作系统、浏览器、域名和访问速度等。 2、访问特征。包括停留时间、点击的URL等。 3、条款特征。包括网络内容信息类型、内容分类和来访URL等。 4、产品特征。包括所访问的产品编号、产品目录、产品颜色、产品价格、产品利润、产品数量和特价等级等。 经典案例（三） 人脸识别系统（分类算法） 数据挖掘（定义） 从技术层面上：数据挖掘就是从大量数据中提取有用信息的过程 从商业层面上：数据挖掘就是一种商业信息处理技术，通过对大量业务数据进行抽取、转换、分析和建模处理，从中提取辅助商业决策的关键性数据 数据挖掘（对象） 关系数据库 数据仓库 事务数据库 多媒体数据库 文本数据库 万维网数据 数据挖掘（任务） 分类分析（Classification） 聚类分析（Clustering） 通过分析示例数据库中的数据，为每个类别做出准确的描述或建立分析模型产生分类规则，然后用这个模型或规则对数据库中的其他记录进行分类。已被广泛应用于用户行为分析、生物科学等领域。 聚类和分类是两个容易混淆的概念。聚类是一种无指导的观察式学习，没有预先定义的类。而分类问题是有指导的示例式学习，预先定义类。分类是训练样本里包含有分类属性值，而聚类是要在训练样本中发现这些分类属性值。如扑克牌例子： A K Q J a)分组前 A K Q J A K Q J A K Q J b) 分组1 c) 分组2 d) 分组3 关联分析是指：两个或两个以上变量的取值之间存在的规律性。关联分析的目的是为了找出数据库中隐藏的关联网。 通过历史经验预测未来可能会发生的状态 分类算法 聚类算法 监督学习 无监督学习 决策树分类法 贝叶斯分类法 基于支持向量机的 分类器 模糊分类法 神经网络法 K-均值聚类 女儿：多大年纪了？ 母亲：26岁 女儿：长得帅不帅？ 母亲：还挺帅的。 女儿：收入高不高？ 母亲：还行，中上等吧。 女儿：是程序员么？ 母亲：是的，在XX上班 女儿：哦，那拜拜吧 这个女孩的决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见。假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的非程序员，那么这个可以用下图表示女孩的决策逻辑： 年龄 相貌 程序 员 见 收入 不见 不见 不见 不见 见 30 30 不帅 帅 高 低 是 中 不是 年龄、相貌、收入、是否是程序员的出现前后顺序是否可以随意摆放？ 小王是个高尔夫爱好者，不过很多因素都会影响他打高尔夫决策。经验丰富的他总结了一张天气和打球的关系图，如下所示： OUTLOOK outlook outlook PLAY PLAY PLAY 多云 晴 雨天 湿度 70 70 风力 弱 强 什么情况下你会选择大胆进攻？ 什么情况下你会选择躲避起来，或者猥琐的跟在大部队后面？ 可以见得，当弹药充足的时候，即便血少，也会战斗；当血多的时候，即便用小刀也会去