大数据的存贮和处理课件.pptVIP

大数据的存贮和处理**

课程内容?概述?大规模文件系统和Mapreduce?相似项发现?数据流挖掘?链接分析?频繁项集?聚类?Web广告推荐系统**

教材?/~ullman/mmds/book.pdf?大数据-互联网大规模数据挖掘与分布式处理**

第一章数据挖掘的基本概念?1·1数据挖掘的定义?1.2数据挖掘的统计限制?1·3相关知识**

数据挖掘的定义?数据挖掘是数据模型的发现过程。?什么是模型？–统什模型:?研究可见数据遵从的总体概率分布。如已有一系列数据，先猜想服从高斯分布，从数据获取模型参数，验证与数据分布是附合–机器学习。?将数据当作某类算法的训练集训练算法。然后再用这个算法分析未知的数据

什么是模型？?机器学习的长处。当对要在数据中寻找的目标一无所知的时候。如不知道是哪些因素影响人们对影片的喜好。netflix竞赛。?如目标能明确描述，机器学习方法并不成功。如在web上寻找个人简历。机器学习方法.不如关键词或者短语更准确,**

建模的计算方法?数据挖掘已被看成是一个算法问题。数据模型就是提供复杂查询的答案。?除了统计建模，其它大部分建模方法可分为如下两类–对数据进行简要汇总–从数据中抽取最突出的特征来代替数据并将剩余内容忽略。**

数据汇总?pagerank。谷歌成功的关键算法之一。Web的复杂结构可以由每个页面的pagerank描述，反映了一个web上的随机游走者在任意时刻处于该页面的概率。?聚类。数据被看成是多维空间的点。空间相互邻近的点被认为是相同的类别。每个类别可以析括表示，如质心或者是到质心的平均距离。**

**

特征抽取?从数据中寻找某个现象的特殊样例，用这些样例来表示数据。介绍两种方法：–频繁项集：在很多购物篮/订单里面寻找同时出现的项集/商品。–相似项：数据可以描述为一系列的集合。寻找共同元素较多的集合。亚马逊网站的顾客可以理解为他购买商品的集合。寻找相似的集合也就是寻找具有类似兴趣的人，把这些人购买过的东西推荐给该顾客。也称为协同过滤**

数据挖掘的统计限制?2002年，布什政府提出一项对所有数据进行挖掘的计划，没有被国会通过。目的是追逐恐怖活动?问题：如果能够获得所有的数据，并且想从中获得恐怖活动的信息。是否会导致误报很多无辜的行为？**

Bonferroni’sPrinciple?随着数据规模的增加，任何数据都会显现出一些不同寻常的特征，这些特征看上去非常重要，实际上却并不重要。?Bonferroni’sPrinciple。在数据随机性假设的基础上，计算所寻找的事件的发生的期望值，如果该期望值大于找到的真实事件的数目，则所找到的事件是假象。**

关于整体情报预警的故事?设有一群坏人会偶尔在酒店聚会策划阴谋?想找出那些同一天在同一个酒店至少出现两次的人群.13

假设?109可疑人.?1000days.?每个人去酒店的概率1%(1000天里住10天酒店).?酒店容纳100人(有10个酒店).5?每个人行为都是随机的。数据挖掘能发现可疑行为吗？14

Calculations–(1)qatpatsomesomehotelhotelSamehotel?人员p和人员q同一天在同一个酒店出现的概率:–1/100?1/100?10-5=10-9.?人员p和q在d和d出现在同一个酒店的12概率:–10-9?10-9=10-18.?1000天任意两天的排列组合:–5?10.515

Calculations–(2)?人员p和q在任意两天出现在同一个酒店的概率:–5?10?10-18=5?10-13.5?可能的人数是10亿，任意两个人的排列组合是:–5?1017.?平均可疑的人员对的数目:–5?1017?5?10-13=250,000.?实际上他们是纯随机导致的巧合16

结论?假设真的有10对坏人在同一个酒店出现两次.?需要扫描250,010对候选人才能找出这10对坏人.–这个方法好吗？17

小结?寻找某个性质的事件的时候(如,“两个人在同一个旅馆出现了两次”),需要考虑纯随机性是否会产生多个具有这个性质的事件。18

RhineParadox–(1)?JosephRhine是1950年代的心理学家，他猜想某些人有超感知能力.?他设计了一个实验：要求实验对象猜10张隐藏的卡片的颜色：–红或者蓝？?他发现1000个人里面有1个具有超感知能力–能猜对所有10张卡片的颜色!19

RhineParadox–(2)?他告诉这些人他们有超能力，并要求他们再做一次同样