大数据时代息化发展趋势.pptx

“大数据时代”信息化发展趋势 杨学山二o一三年五月十日 2018-10-27 主要内容 大数据的由来和发展 信息技术为大数据开辟了前进道路 大数据是走向信息时代的奠基石 大数据发展的关键环节 电子政务发展中的大数据 一、大数据的由来和发展 大数据是一个自然形成的发展中、阶段性概念 本报告所称大数据是指具有数量巨大、多类型、不同结构化程度、不均衡价值密度、不一致动态特征、不同应用处理特征等特点信息集合。 本报告所称大数据系统是指一个围绕特定目的而形成的数据及其处理系统。并不是每一个大数据系统的信息集合都具有上述全部特征，一种或两种类型，数量巨大，也是大数据。 在计算机处理能力不断发展、信息系统处理的信息日益增长，特别是互联网（包括移动互联网）的发展、传感技术的广泛应用，大数据概念应运而生 在这里，大数据和信息、信息资源是同义词 为什么叫大数据：一是数量大 YB:2的80次方，ZB的1000倍 ZB:2的70次方，EB的1000倍 EB:2的60次方，PB的1000倍 PB:2的50次方，TB的1000倍 TB:2的40次方，GB的1000倍 GB:2的30次方，MB的1000倍 绝大部分应用在这两个数量级 我们每个人都在制造和使用信息 每秒发出290万条短信 每天Twitter上发布5000万条微博 每天Google处理的数据24PB 2012年11月11日第一秒，用户向阿里网购提出1千万请求 全球新增网页571个 过去3年数据量比以往数万年还多 2020年数据产出量将比2009年的44倍还多 2006年全球生成、复制的数字化信息量大约16.1万PB，当年的信息产生量约是历史上图书信息总量的3000倍 二是类型多 结构特征：结构化、半结构化、非结构化 拥有特征：私有、共有、公开 形态特征：语音、文本、数值、图像、视频 为什么叫大数据：二是类型多 三是更接近把握信息资源的本质 大数据真正开始把信息变成资源 有的文章将大数据看作石油，大数据研究与自然资源利用发现、开采、提炼存在一定的相似之处 研究大数据，首先要研究各种有用的信息在何处，就是找矿 其次是把满足特定需求的信息收集过来，就是开矿 第三是把收集的信息按应用需求进行结构化处理，就是提炼，如同石油必须经过炼化才能变成消费用的汽油、柴油或作为原料用的聚乙烯、聚丙烯 第四是将这样的信息与具体的应用结合，使之发挥作用，这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。 大数据是一个阶段性的概念 大数据是信息和信息资源开发利用这个稳定概念在今天这个特定时期的代表名词。关于大数据所有作用和意义的期待，都包含在1970年哈佛大学关于资源三角形的论述中。这个论述简而言之就是材料、能源、信息是推动社会发展的三种基本资源。美国人相信它40多年了，并为之持续不断地做了大量的工作，也是美国在IT领域，包括信息资源领域，一家独大的一个原因。 二、信息技术为大数据开辟了前进道路 信息技术进展是大数据产生和发展的主要动力 传感技术：大数据的主要来源 存储技术：不仅数据量大，而且要有信息存储模式 传输技术：不仅提供传输能力，还是数据的创造者 处理技术：不仅是处理能力，更是处理方法（结构化语义处理） 11 信息技术继续快速发展，技术体系更趋完善 1、处理、传输、存储技术延续高速发展 2、感知、显示、获取技术驶入快车道 3、内容处理、智能系统技术不断成熟 4、技术体系不断完善 传输技术：走向宽带泛在普及 2018-10-27 传 输 人与人 物与人 物与物 人与物 走向G级 从个位数到T级P级 甚至更高 超高速 泛在 新的体系架构 更加深入的融合：三网、固移，工作网、物联网、互联网 当前的关键技术：端到端G级、下一代互联网、新技术条件下的城域网和骨干网体系架构，…… 端到端数百兆到吉比特，4个以上数量级的汇接带宽，3D及虚拟现实等传输要求，许多场景下并发数量急剧增加 处理存储技术：20年内提升3个数量级 2018-10-27 处理/存储 集成度，从当前的32/28nm，快步前进到14/16nm及以下 低功耗、嵌入式、可靠性、小型、可移动 高性能，超级计算机、汇聚计算资源能力 高性能，一些重要的应用，需要继续沿摩尔定律提升3个以上数量级 处理能力的集成，更加复杂的存储与处理系统 更加复杂和智能化的应用，需要寻找新的技术 感知获取技术：一组需求驱动快速发展的技术 2018-10-27 感知/获取 RFID 生物/光磁转换 声音/文字转换 遥感