第一讲数据挖掘基本概念.pptVIP

* “大数据”挖掘可以做什么 更精准的用户调研； 更精准的用户推荐。 如：Weather Co是美国一家能够基于对人们查看天气情况的时间、地点和频次的分析预测消费者行为的机构。该公司积累了超过75年的气象信息，覆盖北美等地区的天气、云量等方面的数据。基于这些大数据，Weather Co不仅能为用户提供单纯的天气信息，而且可以通过数据挖掘，分析天气会对用户消费产生什么影响。这种对用户消费行为的预判，不仅能让用户感受到一种全新的购物体验，而且还可以吸引那些对广告投放精准度要求较高的广告主。 超级营销顾问 “大数据”挖掘可以做什么 Netflix在美国拥有2700万订阅用户，每天用户在Netflix上产生3000多万个行为，同时用户每天还会给出400多万个评分以及300万次搜索请求。借助这些数据，Netflix非常清楚用户想看什么，也知道具备了哪些元素的电视剧将可能一夜爆红。 　Netflix的工程师发现，喜欢BBC剧、导演大卫·芬奇和老戏骨凯文·史派西的用户存在交集，一部影片如果同时满足这几个要素，就可能大卖。 事实证明Netflix赌对了。《纸牌屋》成为了Netflix网站上有史以来观看量最高的剧集，并在美国及40多个国家大热。 制作热门电视剧 “大数据”挖掘可以做什么 Facebook在今年情人节后发布了一张统计图，表明了一个时间点前后某个账户的发帖数量变化，在这个时间点前的发帖量明显高于之后，说明在这个时间点你恋爱了。Facebook数据研究部门科学家团队发现，利用网站的统计数据，可以判断发帖的用户是否、何时擦出了爱的火花。 再如，在你找对象的时候，碰上一位心爱的姑娘，大数据系统就像算命系统一样，根据双方海量数据的挖掘，告诉你和姑娘匹配指数是多少，告诉你全球类似情况的夫妻日后离婚概率是多少，低于某个匹配指数，大数据系统会慎重建议你认真考虑要不要这个姑娘继续交往下去 。 你恋爱了吗？ “大数据”挖掘可以做什么 2014年3月2日，第86届奥斯卡颁奖典礼将如约在杜比剧院举行。提名入围者谁将最终捧得小金人，是各界热议的焦点，也成为各大博彩公司的热门盘口。然而就在2013年，第85届奥斯卡颁奖礼的悬念却被提前揭晓了，做到这一点的就是大数据分析。 而且早在2012年美国总统选举中，大卫·罗斯柴尔德就曾经使用一个通用的数据驱动型模型，准确预测了美国50个州和哥伦比亚特区共计51个选区中50个地区的选举结果，准确性高于98%。 未卜先知的“预言帝” 开启数据挖掘之旅你准备好了吗？ * 数据仓库与数据挖掘产生的背景； 数据挖掘的定义； 数据挖掘可以挖掘的模式类型？ 复习与思考问题 * * * * * * * * * * * * * * * * * * * * * * * * * * 数据挖掘: 一个 KDD 过程 挖掘数据: 过程的核心. Data Cleaning 数据整理 Data Integration数据集成 数据库 Data Warehouse 数据仓库 相关任务数据Task-relevant Data 挑选 采掘数据Data Mining 模式评估Pattern Evaluation * 二、数据挖掘的功能 数据挖掘可以挖掘的一些常用模式如下： 关联分析（描述）； 聚类分析（描述）； 分类（预测）； 孤立点分析（预测） 数据挖掘的功能： 数据挖掘的功能： 1）关联分析 关联规则挖掘：反映一个事件和其他事件之间依赖或关联的知识。 广泛的用于购物篮或事务数据分析。 例： 2）聚类分析 聚类分析：最大化类内的相似性和最小化类间的相似性（无监督的学习方法） 找出数据集中的共性和差异，并将具有共性的对象聚合在相应的类中。 “物以类聚，人以群分” 示例：扑克牌的划分 (b) (a) (c) (d) 图 十六张牌基于不同相似性度量的划分结果 3）分类挖掘 分类：反映同类事物共同性质的特征型知识和不同事物之间的差异型特征知识（有监督的学习方法） 通过分析训练集中的数据，为每个类别建立分类分析模型；然后用这个分类分析模型对数据库中的其他记录进行分类。 示例：垃圾邮件的识别属于分类问题，所有训练用邮件预先被定义好类标号信息，即训练集中的每封邮件预先被标记为垃圾邮件或合法邮件信息，需要利用已有的训练邮件建立预测模型，然后利用预测模型来对未来未知邮件进行预测。 决策树方法得到规则 规则的应用 例如：信用卡的使用 规则1：If refund=no and marital status=married then cheat=no 3）分类挖掘 聚类与分类的主要区别：聚类是一种无指导的观察式学习，没有预先定义的类；而分类问题是有指导的示例式学习，有预先定义的类。 聚类 分类 监督(指导)与否 无指导学习 (没有预先定义的类) 有