《云计算基础应用》第10章 云计算与大数据.pptxVIP

第 10 章 云计算与大数据云计算基础应用 云计算与大数据 信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据的研究和应用正在不断深入，而且受关注度越来越高。学习云计算的同时是无法回避大数据有关知识和技术的。 大数据究竟是什么？和我们有什么关系？有什么用处？本章概要介绍大数据及大数据的应用。 本章要点1234大数据概述大数据的应用云计算和大数据的关系大数据未来展望 大数据概述 当前大数据已经有很多杰出的表现，如大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；大数据帮助城市预防犯罪，实现智慧交通，提升应急能力；大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；大数据帮助商业机构预测市场动态，进行精准营销等。然而什么是大数据呢？怎样才能更好地应用它为国民经济建设服务，让经济更“智慧”呢？本节从了解大数据的定义开始。云计算与大数据 大数据概述大数据的定义： 1．大数据时代的背景 半个世纪以来，随着计算机技术全面融入社会生活，信息增长速度也在加快，创造出了“大数据（Big Data）”这个概念。 Big Data成为近几年来的一个技术热点，历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon早在20世纪90年代就经常提及Big Data。 2011年5月，在“云计算相遇大数据”为主题的EMC World 2011会议中，EMC抛出了Big Data概念。云计算与大数据 大数据概述大数据的定义： 2．大数据时代的到来 近年来随着互联网、云计算、移动互联网和物联网的迅猛发展，无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器、智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。麦肯锡全球研究院于2013年初预测：全球每秒钟发送290万封电子邮件；每天会有2.88万个小时的视频上传到Youtube；Twitter上每天发布5 000万条消息；每天Amazon上会产生630万笔订单；每个月网民在Facebook上要花费7 000亿分钟；Google上每天需要处理24PB的数据等。可以说，从来没有哪个时代的数据增长有现在疯狂！云计算与大数据 大数据概述大数据的定义： 根据IDC做出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律），并且大量新数据源的出现导致了非结构化、半结构化数据爆发式的增长。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有40ZB（1ZB等于1万亿GB，即1ZB=1012GB）的数据量。这不是简单的数据增多的问题，而是全新的问题。 随着大数据时代的到来，我们要处理的数据量实在是太大、增长太快了，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段已经无法应付。云计算与大数据 大数据概述大数据的定义： 3．大数据的特征 （1）数据量大（Volume） 大数据的起始计量单位至少是PB（1 000个TB）、EB（100万个TB）或Z（10亿个TB）。非结构化数据的超大规模和增长，比结构化数据增长快10～50倍，是传统数据仓库的10～50倍。（2）类型繁多（Variety） 大数据的类型可以包括网络日志、音频、视频、图片和地理位置信息等，具有异构性和多样性的特点，没有明显的模式，也没有连贯的语法和句义，多类型的数据对数据的处理能力提出了更高的要求。云计算与大数据 大数据概述大数据的定义： 3．大数据的特征 （3）价值密度低（Value）大数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，存在大量不相关信息。因此需要对未来趋势与模式做可预测分析，利用机器学习、人工智能等进行深度复杂分析。而如何通过强大的机器算法更迅速地完成数据的价值提炼，是大数据时代亟待解决的难题。 （4）速度快、时效高（Velocity） 处理速度快，时效性要求高，需要实时分析而非批量式分析，数据的输入、处理和分析连贯性地处理，这是大数据区分于传统数据挖掘最显著的特征。云计