大数据分析与决策.pptVIP

大数据分析与决策;*;- * - ;- * - ;*;*;*;*;*;*;*;利用GPS数据了解交通状况;*;大数据的商业价值;*;*;二、大数据分析;二、大数据分析-可视化分析;二、大数据分析-数据挖掘算法;二、大数据分析-预测性分析能力;二、大数据分析-语义引擎;二、大数据分析-数据质量和数据管理;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*; 假设掷出一枚硬币，正面朝上的概率是50%，如果连续99次投掷硬币都是正面朝上落地，那么下一次投掷硬币正面朝上落地的概率是多少？ 这是Taleb在《黑天鹅》一书中给出的一个假想的??题。在Taleb的书中，受过正统教育的约翰博士给出了教科书教给我们的标准回答，下一次投掷硬币正面朝上落地的概率仍然为50%，因为下一次硬币朝向与之前投掷的结果无关。而教育背景没有那么光鲜的胖托尼则认为下一次投掷硬币正面朝上的概率为99%。孰对孰错？每个人都不妨给出自己的判断。 而如果一定要为自己的答案下一万块钱的赌注的话，可能我就会和Taleb一样，更倾向于和不是那么教条的胖托尼保持一致，即更倾向于相信下一次硬币正面朝上的几率为99%，更倾向于相信我之前的有关正面朝上落地的概率是50%的假设是错误的。; 近几年“大数据”成为热词后，诸如“贝叶斯算法”这样的统计学名词也随之在IT领域热起来。所谓的贝叶斯方法源于托马斯·贝叶斯（Thomas Bayes）生前为解决一个“逆概”问题写的一篇文章。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测呢？”。这个问题，就是所谓的逆概问题。 ; 实际上，贝叶斯当时的论文只是对这个问题的一个直接的求解尝试，并不清楚他当时是不是已经意识到这里面包含着的深刻思想。然而后来，贝叶斯方法席卷了概率论，并将应用延伸到各个问题领域，所有需要作出概率预测的地方都可以见到贝叶斯方法的影子，特别地，贝叶斯是机器学习的核心方法之一。这背后的深刻原因在于，现实世界本身就是不确定的，人类的观察能力是有局限性的，我们日常所观察到的只是事物表面上的结果，沿用刚才那个袋子里面取球的比方，我们往往只能知道从里面取出来的球是什么颜色，而并不能直接看到袋子里面实际的情况。这个时候，我们就需要做一个猜测，所谓猜测，当然就是不确定的，但也绝对不是两眼一抹黑瞎蒙。; 虽然，人们在谈大数据时往往都会谈及利用Hadoop等新兴技术对海量数据处理等技术问题，也会谈及Facebook、Google等公司所处理的PB级别数据的问题。但是，大数据的核心问题在于预测。电子商务网站通过数据预测顾客是否会购买推荐的产品；信贷公司通过数据预测借款人是否会违约；执法部门用大数据预测特定地点发生犯罪的可能性；交通部门利用数据预测交通流量。但是，预测不是大数据时代才有的新问题，它是人类本能的一部分。; 但是，与科学研究中以求真为目的的构建模型不同，大数据时代的模型构建将更加以务实为目的，即遵循统计学家George E. P. Box的观点“本质而言，所有模型都是错误的，只是有些模型更有用”。大数据时代的很多模型都是为了指导商业决策而设的，而商业决策通常会影响决策者的利益。所以，一个模型是否正确不是最重要的，重要的是决策者对这个模型有多大的把握，决策者能否从这个模型中获利。所以，大数据时代中最为关键的应该是基于数据的模型能否说服决策者据此进行决策，并且帮助决策者改善决策赚取相应的利润。; 艾赛亚·柏林（Isaish Berlin）曾经援引古希腊诗人的残简“狐狸多知而刺猬有一大知”将知识分子分为狐狸和刺猬两类。刺猬用一个宏大的概念解释所有现象，如约翰博士一般；狐狸知道很多事情，用多元化的甚至相互矛盾的视角看待问题，狐狸也愿意包容新的证据以使得自己的模型与之相适应，如胖托尼一般。Tetlock等人的研究表明，在现实的预测中，狐狸的表现要优于刺猬。在大数据时代，人们能够接触越来越多的信息，这些信息能否修订决策者已有的观念，对决策者的决策产生影响，这是大数据能否发挥价值的关键所在。; 很多人都知道亚当斯密（Adam Smith）在《国富论》中所描述的市场中的“看不见的手”。在市场中，没有人掌