大数据分析 课件 任务4.2 建立大数据分析模型.pptx

;大;周苏教授;目錄;1数据核心原理：从“流程”核心转变为“数据”核心

大数据时代的新思维是：计算模式发生了转变，从以“流程”为核心转变为以“数据”为核心。Hadoop体系的分布式计算框架是“数据”为核心的范式。非结构化数据及分析需求将改变IT系统的升级方式：从简单增量到架构变化。例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据背景下，云计算找到了破茧重生的机会，在存储和计算上都体现了以数据为核心的理念。大数据和云计算的关系是：云计算为大数据提供了有力的工具和途径，大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地，可有效利用已大量建设的云计算资源。;科学进步越来越多地由数据来推动，海量数据给数据分析带来机遇也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。

说明：用以数据为核心的思维方式思考问题，解决问题，反映了当下IT产业的变革，数据成为人工智能的基础，也成为智能化的基础。数据比流程更重

要，数据库、记录数据库，都可以开发出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁，你需要什么，从而推荐给你所需要的信息。;2数据价值原理：由功能是价值转变为数据是价值

大数据真正有意思的是数据变得在线了，这恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，其价值一定是数据。例如，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿。按照性质，煤炭有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。不管大数据的核心价值是不是预测，基于大数据所形成的决策模式已经为不少企业带来了盈利和声誉。;数据能告诉我们每一个客户的消费倾向，他们想要什么，喜欢什么??每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类或聚合。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。举例来说，这里有一张照片，照片里的人在骑马，这张照片每一分钟，每一秒都要拍一张，但随着处理速度越来越快，从1分钟一张到1秒钟1张，突然到1秒钟10张，数量的增长实现质变时，就产生了电影。

美国有一家创新企业D，它可以帮助人们做购买决策，告诉消费者什么时候买什么产品，什么时候买最便宜，预测产品的价格趋势，这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据，然后为数十万用户省钱，为他们的采购找到最好的时间，降低交易成本，为终端的消费者带去更多价值。;在这类模式下，尽管一些零售商的利润会进一步受挤压，但从商业本质上来讲，可以把钱更多地放回到消费者的口袋里，让购物变得更理性，这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司，后来被eBay以高价收购了。

再举一个例子，SWIFT（环球同业银行金融电讯协会）是全球最大的支付平台，在该平台上的每一笔交易都可以进行大数据分析，可以预测一个经济体的健康性和增长性。比如，该公司为全球性客户提供的经济指数就是一个大数据服务。定制化服务的关键是数据，大量的数据能够让传统行业更好地了解客户需求，提供个性化的服务。;说明：用数据价值思维方式思考问题，解决问题。信息总量的变化导致了信息形态的变化。如今“大数据”这个概念几乎应用到了所有人类致力于发展的领域中。从功能为价值转变为数据为价值，说明数据和大数据的价值在扩大，“数据为王”的时代出现了。数据被解释为信息，信息常识化是知识，所以说数据解释、数据分析能产生价值。;3全样本原理：从抽样转变为采用全数据作为样本

需要全部数据而不是抽样，你不知道的事情比你知道的事情更重要。但如果现在数据足够多，它会让人能够看得见、摸得着规律。数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定做出判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式和

今天所讲的大数据是非常像的。;例如在大数据时代，无论是商家还是信息的搜集者，会比我们自己更知道我们想干什么。现在的数据还没有被真正挖掘，如果真正挖掘的话，通过信用卡消费的记录，可以成功预测未来5年内的情况。统计学最基本的一个概念就是，全部样本才能找出规律。为什么能够找出行为规律？一个更深层的概念是人和人是一样的，如果是一个人抽样出来，可能很有个性，但当人口样本数量足够大时，就会发现其实每个人都是一模一样的。

说明：用全数据样本思维方式思考问题，解决问题。从抽样中得到的结论总是有水分的，而从全部数据中得到的结论