大数据及数据可视化分析.pdf

大数据及数据可视化分析 郑州大学信息工程学院宋伟 2014.08.19 汇报内容 一、相关背景 二、可视化分析介绍 三、目前相关工作 信息爆炸 科学数据爆炸 Sloan Digital Sky Survey ATLUM / Connectome Project Big Data  大数据(big data)，指的是所涉及的数据信息量规模 巨大到无法通过目前主流软件工具，在合理时间内 达到撷取、管理、处理、并整理成为帮助企业经营 决策更积极目的的资讯。  (在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的 《大数据时代》中大数据指不用随机分析法 （抽样 调查）这样的捷径，而采用所有数据的方法）  “数据是新的石油。” Andreas Weigend （Amazon前首席科学家）  “当时时变幻的、海量的数据出现在眼前，是怎样一 幅壮观的景象？在后台注视着这一切，会不会接近上 帝俯视人间星火的感觉？”  大数据是如此重要，以至于其获取、储存、搜索、共 享、分析，乃至可视化地呈现，都成为了当前重要的 研究课题。 Big Data特点（4V）  Volume 数据量大 大数据的起始计量单位 PB-EB-ZB  Variety 类型繁多 包括网络日志、音频、视频、图片、地理位置信息、科学、医学等多类 型数据，对数据处理能力提出了更高要求。  Value 价值密度低 信息海量，但价值密度较低 价值高 只要合理利用数据并对其进行正确、准确的分析，将会带来很高 的价值回报。  Velocity 速度快时效高 处理速度快，时效性要求高。区分于传统数据 挖掘最显著的特征。 对大数据的关注 越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的 资产，数据分析能力正在成为组织的核心竞争力。 1、2013 年3月22 日，奥巴马政府宣布投资拉动大数据相关产业发展，将 “大数据战略”上升为国家意志。 2 、2012 年,联合国发布大数据政务白皮书。 3、最为积极的:众多的IT企业  IBM PC软件和服务大数据分析软件(全新业务增长点)。  百度、腾讯、阿里巴巴…… 数据为王 Big Data相关内容  大数据技术 从多种类型数据中，快速获得有价值信息的能力  大数据工程 大数据的规划建设运营管理的系统工程  大数据科学 大数据网络发展和运营过程中发现和验证大数据的规律及其 与自然和社会活动之间的关系  大数据应用 大数据与云 “将来几十年中，处理数据的能力将会成为至关重要的 技术——理解数据、加工数据、提取数据价值、可视化 数据、与数据交流。…因为现在我们的确拥有无处不在 的、可自由获取的数据。” “The ability to take data—to be able to understand it, to process it, to extract value from it, to visualize it, to communicate it — that’s going to be a hugely important skill in the next decades,... because now we really do have essentially free and ubiquitous data.” HalVarian,Google’s Chief Economist The McKinsey Quarterly,Jan 2009 汇报内容 一、相关背景 二、可视化分析介绍 三、目前相