大数据及其相关新兴技术陈国良.pdfVIP

大数据及其相关新兴技术 Big Data and It’s Related Emerging Technologies 陈国良 南京邮电大学 摘要： 大数据、物联网和云计算是新一代信息技术发 展中的华彩乐章。物联网使成千上万的网络传感器 嵌入到现实世界中，云计算为物联网产生的海量数 据提供了存储空间和在线处理，而大数据则让海量 数据产生了价值。本报告，首先介绍大数据世界和 大数据潮流；其次讲解什么是大数据和大数据的一 般处理流程；接着介绍产生大数据来源之一的物联 网的产生、发展及其系统架构；然后讲述大数据与 云计算的关系和两者的异同点；最后在简介高性能 计算与高性能计算机的基础上，阐述了在大数据面 前高性能计算本身所面临的技术挑战等。 •2 目录 1. 大数据浪潮汹涌澎湃 1.1 大数据世界 1.2 大数据潮流 1.3 什么是大数据 1.4 变革思维研究大数据 1.5 大数据的价值 1.6 大数据的管理 1.7 大数据时代的产业界情况 2. 大数据引领社会、经济和科技发展 2.1 大数据对国家社会的作用 2.2 大数据推动国民经济发展 2.3 大数据促进科技发展 2.4 大数据应用及实例 3. 大数据的处理流程 3.1 大数据的采集与预处理 3.2 大数据的传输 3.3 大数据的存储 3.4 大数据的处理 3.5 大数据的展现 •3 目录 4. 大数据与物联网 8.2 各领风骚十数年 4.1 物联网 4.2 物联网的发展历程 4.3 大数据与物联网 5. 大数据与云计算 5.1 什么是云计算 5.2 大数据与云计算的关系 5.3 大数据与云计算的不同点 6. 高性能计算与高性能计算机 6.1 什么是高性能计算 6.2 高性能计算机系统举例 6.3 高性能计算应用 7. 高性能计算面临大数据的挑战 7.1 计算模型的转变 7.2 系统结构的转变 7.3 编程模型的转变 7.4 应用方式的转变 7.5 其他方面的转变 8. 结论 8.1 从量变到质变 •4 1、大数据浪潮汹涌澎湃 1.1 大数据世界 (1)网络连接的世界涌现出大数据 • 互联网和社交网产生的数据：现代网络社会中，人们在通过电子邮件、维基、微 博、博客、娱乐节目、网上购物、银行交易、股票数据等进行互动和交易，每个 人在分享网上数据的同时，又在不断制造数据。 • 无线移动互联网络产生的数据：移动智能终端接入互联网就形成了移动互联网， 它虽兼具了通信网之“随时、随地、随身”和互联网之“共享、开放、交互”的 优势，但仍面临着海量数据通信对网络带宽带来的巨大负担；而移动互联网的无 线接入网络使得数据流量剧增，迫使网络运营商不断增加基站数和进一步挖掘频 谱利用率；网络应用和服务的多元化使得传统的微观小尺度（分组级和数据帧级） 的业务规律分析无法从宏观上描述业务特征规律。 • 物联网上采集和观测数据：在遍布全球各地的移动传感器、无线传感器、空间遥 感器、射频识读器和摄像、照相机等各种采集和观测数据设备，都在时时、处处 捕获大量诸如位置数据、传感数据、卫星图像数据、气象数据等。 • 社会发布的信息数据：现代社会中，政府、企事业、行业等机关部门都不断地向