重大大数据与智慧城市讲述.ppt

电子政务发展新趋势 2 大数据时代来临 3 1 大数据的影响 在商业、经济及其他领域中的决策行为将日益基于对数据的分析； 还有人在将数学与政治科学联系起来，分析政治观点是如何传播的； 在科学和体育、广告和公共卫生等也朝着数据驱动型的发现和决策的方向发生转变。 4 1.1 数据、大数据、大数据时代 常见的几个词汇 符号：事物的标志，表示一定的意象，可以是图形、语言、文字、手势等。 消息：关于人或事物情况的报道。它是由符号空间中的基本元素——符号编码而成，这涉及信息的表示问题。 数据：对可以存储、处理的实体的描述，可以是语言、文字、图形、表格、视频、多媒体等形式。是消息和信息的载体。 知识：人们在社会实践中所获得的认识和经验总和。 智慧：认知和改造世界的能力。 5 1.2 大数据的概念 百度百科：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 维基百科：大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。 为什么叫大数据？ YB:2的80次方，ZB的1000倍 ZB:2的70次方，EB的1000倍 EB:2的60次方，PB的1000倍 PB:2的50次方，TB的1000倍 TB:2的40次方，GB的1000倍 GB:2的30次方，MB的1000倍 绝大部分应用在这两个数量级 7 数据存储能力：目前已达TB级，谷歌系统已迈入PB级。 谷歌总裁Rric Schmidt根据科技研究公司IDC作出的估测，数据一直都在以每年50%的速度增长，即每两年就增长一倍。 8 定义：大数据是由海量异构的数据组成的数据集合，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门新兴学科。 “大数据”更多的意义在于：人类可以“分析和使用”的数据在大量增加。 9 1.3 大数据的特征 4个“V”：Volume，Variety，Value，Velocity 大数据 的特性 更关注 相关性 主要用 于预测 数据量 巨大 实时性 要求高 我们每个人都在制造和使用信息 每秒发出290万条短信； 每天Twitter上发布5000万条微博； 每天Google处理的数据24PB； 2012年11月11日第一秒，用户向阿里网购提出1千万请求； 全球新增网页571亿个 2006年全球生成、复制的数字化信息量大约16.1万PB，当年的信息产生量约是历史上图书信息总量的3000倍； 过去3年数据量比以往数万年还多； 2020年数据产出量将比2009年的44倍还多； 11 数据爆炸 如果在网上搜索“Informaion”一词，用Goole只需0.33秒就给出3,710,000,000条，用Yahoo只需0.23秒就给出15,300,000,000条。 谷歌能在不到0.1秒的时间内，可从每天从处理的20PB（相当于20座法国国家图书馆的数据）数据中挑选出和搜索出与所请求相匹配的数据。 12 数据搜索、查找、处理能力 这需要依靠在巨大的数据库内对相关数据间可能的联系，采用专门设计的算法和成千上万台计算机组成的规模庞大的服务器“巨阵”进行高速自动分析实现。 大数据时代的网络所提供的海量数据，包括文献、图片、视频、各种观测仪器和传感器记录的原始数据、以及不计其数的实验结果，任何科研人员个体面对全球性的数据洪流都将束手无策，只能求助于搜索引擎和分析软件，它们可以从中找出数据间意想不到的关联，推断出一些新的结果。 13 数据爆炸是现实，信息爆炸尚可言，但绝不存在知识爆炸，更不可能存在智慧爆炸！ 14 1.2 大数据技术 大数据、物联网、云计算、移动通信等都是近年涌现出来的新兴概念，彼此之间不是孤立的，而是存在着内部联系。 15 1.3 大数据时代的特点： 数据的产生、传输、存储、处理的规模都是海量的，除了结构性数据外，还有大量非结构性数据，特别体现在数据结构的复杂性和关联性。 在大数据时代，挖掘、查找、筛选、分析处理和存储数据的能力是至关重要的，人们将主要靠计算软件完成这类工作。 数据的完整性、隐私、安全、产权保护是大数据时代的一个重要技术问题。 数据可以用来推断某些事情可能发生或者不可能发生，成为判断、决策的工具。 由海量数据导致的业务管理系统处理效率问题急需解决。 16 2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从