大数据与大系统分解.ppt

1 大数据与大系统 2014年9月26日，上海 周宏仁 国家信息化专家咨询委员会 常务副主任 中国计算机应用大会 暨 2014年智慧城市与大数据学术会议 2 一、什么是数据 3 “数据” 人类历史上从来就不乏数据，也不可否认数据的重要 性，然而，数据从来没有像今天这样成为一种人类不 可或缺的资源。 今天所讨论的“数据”，无论是小、中、大数据，都 不是指储存在任何其它物理介质（纸张、报纸、书籍） 中的数据，而是专指储存在不同形态的计算机或信息 系统中的数据，包括各种各样的数字终端，如智能手 机和平板电脑中的数据，各种网络中的数据。 无论这些数据代表的物理现象（数字、文字、声音、 图片、视频、嗅觉、味觉）多么复杂，归根结蒂只有 1和0两个代码。就是这两个代码的无穷组合代表了极 其复杂且变化万千的物理世界！ 4 数据时代 数据之所以在今天能成为一种与能源、物质并驾齐驱 的资源，固然与数据可以表征现实的物理世界有关， 更是由于现代信息通信技术可以方便地检索、传播、 处理和利用数据。 数据资源的开发利用之所以变得如此之重要，也归因 于信息的数字化和计算机化的结果。因此，数据时代， 或者大数据时代，是信息时代固有的内涵之一。 大数据的重要意义和价值是毋庸置疑的。认识数据时 代的来临，比认识大数据本身更为重要。大数据时代 的来临，就是数据时代的来临，也是“数据”真正作 为“资源”的时代的来临。 5 数据：可再生、可自生资源 奈斯比特：“我们第一次有了一种建立在不仅可以 再生而且可以自生的重要资源（信息）上的经济。 资源缺乏不成问题了，但被资源淹没倒是问题。” 当然，他所指的不仅仅是大数据资源，而是涵盖了 所有“尺寸”的“信息资源”。 然而，大数据技术的出现，也推翻了奈斯比特的另 一个观点，“在信息社会中，没有控制的和没有组 织的信息不再是一种资源。它倒反而成为信息工作 者的敌人。”实际上，大数据要研究和利用的，正 是这一类数据资源。 约翰·奈斯比特（John Naisbitt），《大趋势－－改变我们生活的十个新趋向》 6 数据资源需要开发 大数据技术最大的魅力，正是在于它可以从看似无 关联、无控制、无组织、非结构化的数据资源中， 提取有用的、甚至是极有价值的信息。 60年前，控制论的创始人维纳曾经指出：信息是与 物质和能源同样重要的、构成客观世界的三大要素 之一，是人类社会的三大资源之一。这个论断的真 谛，只有在大数据时代的今天才不难理解。 然而，资源就是资源，需要开发。就像一座铜矿一 样，没有开发，铜矿不会自动地变成铜。 诺伯特·维纳，《控制论》，科学出版社，1963年。 7 二、数据资源的形成 8 信息化：开发信息资源 信息化的过程，就是数据资源开发的过程。“数字 化”和信息系统的构建，开启了信息时代信息资源 开发利用的新模式、新技术、新方法。 60余年来信息化的发展进程中，数据资源的开发、 管理和利用始终是一个重要的主题。今天人类社会 的数据资源，是一步一个脚印地发展和积累起来的。 大数据是怎么来的？不是从天上掉下来的，正是60 多年来信息化不断发展的结果。 9 数字化的起步 数据资源开发的过程，就是信息化的过程。信息化 是从数据的管理和利用开始的。1950年，艾克特和 莫克利在美国成功制造的世界上第一台商用计算机 UNIVAC，就是被美国普查局买去用作普查数据的处 理。1954年，美国第一个联邦公务员工资支付管理 系统投入使用。 现实生活中的各种形式的数字和文字信息，开始以 格式化的“数据”储存在计算机信息系统之中。 10 信息系统 在以后的几十年中，信息系统首先作为单个的系统 （System），在一个单位的内部发展。所谓系统， 是指一组部件按一定的方式结合在一起，以完成特 定功能，而这种功能是任何单个部件所不可能具备 的。 早期的信息系统，是比较简单的批数据处理系统； 而后，数据处理走向实时处理。随后，信息系统开 始向管理层发展，为业务活动的管理，提供各种信 息系统的支撑。 在数据处理系统和管理信息系统发展和积累大量数 据的基础上，决策支持系统开始发展。 各单位信息系统的发展 决策层 信息系统发展 由底向上 管理层 管理信息系统(MIS) 操作层 数据处理系统(DP) 上世纪60、70年代，信息系统在各个单位，如政府 部门或企业的内部很快得到发展。大量数据开始在 信息系统中积累，成为重要的数据资源。 11 决策支持系统 （DSS） 12 信息系统的发展 60余年来，信息系统经历了一个由小到大、由简单 到复杂，由有组织到无组织的发展过程。 信息系统 简单系统 大系统 系统的系统 超巨系统 无系统系统 信息化的理论模型 物理世界 同态映射 数字世界 ITI ICI ISI 逆