大数据科学与工程的挑战与思考.pdfVIP

专题 第 8 卷  第 9 期  2012 年 9 月 大数据科学与工程的挑战与思考 马　帅　李建欣　胡春明　 关键词：互联网　大数据 北京航空航天大学 引言 规律和趋势，形成 “真理尽在数 要。继人力、资本之后，数据成 IBM前董事长兼首席执行官 据中”的效应。 “数据科学”随 为一种新的非物质生产要素，成 郭士纳 （Louis Gerstner ）认为， 之成为一个新兴的研究领域。 为支撑科学研究和各类应用服务 “计算模式每隔15年发生一次变 早在20世纪70年代，针对商 不可或缺的战略资源。社会计算 革”：1965年前后出现大型机， 业事务处理需求，数据处理的基 进入了 “大数据”时代。20 12年 19 80年前后出现P C ，1995年前 础软件开始出现，而软件从过去 3月29 日，美国政府宣布了 “大 后发生了互联网革命，20 10年前 的文件系统、操作系统、数据库 数据研究与发展计划”，初始启 后随着信息世界网络化、普适 系统，无一例外都是以更有效的 动经费2亿美元，其重要性堪比 化、智能化，网络与传统技术交 数据处理为目标，来实现对数据 当年的 “信息高速公路计划”， 叉、融合，催生出云计算、物联 更有效、更客观的分析和处理。 这标志着大数据已经上升到国家 网等新兴产业平台。虽然计算模 然而，数据处理在科学计算、 战略层面。 式几经变迁，从单机到多机到 商业计算和社会计算等不同时 目前大家对大数据的基本 协同等，围绕数据处理能力的研 期发生了本质变化。在科学计算 特征还没有统一的认识和定义。 究应用一直都是IT发展的永恒主 时期，以科学数据的实时处理为 一部分观点认为大数据只是对海 题。2007年美国总统科学技术顾 主要目标，算法及算法复杂性是 量数据、数据规模等的描述和称 ’ 问委员会 （President s Council of 研究重点。在商业计算时期，以 谓，另一部分观点认为大数据就 Advisors on Science and Technol- 金融、电信等商业智能分析为主 是指基于现有技术、方法和理论 ogy ，P CA ST ）的报告以及英国 要目标，数据流程管理以及数据 所无法处理的数据。然而，无论 e-S c i e n c e计划前首席科学家托 智能分析成为研究重点。如今， 我们如何认识和描述大数据， 尼 ·海 （Tony Hey ）的著作 《第 在社会计算时期，数据大规模、 科学、商业和社会中涌现的各 四范式：数据密集型科学发现》 个性化和大众化特性显著，例如 类数据及其规模、处理能力， Th e F ourth P ar adig m ：D at a- （ 20 11年Internet World统计互联网 已经使得数据或信息从 “匮 intensive Scientific Discovery ） 用户近20亿，社交网站Facebook 乏”、 “充足”进入到 “无能 都揭示出数据分析已经成为继理 活跃用户已突破8亿，其上市使 为力”的时代。 论、实验和计算之后的第四种科 风投获千倍回报，彻底改变了传 本文以大数据科学与工程 学发现基础，成为产生经济价值 统IT 的应用模式。在社会计算时 为切入点，以互联网网络化应用 的新源泉。它有助于分析社会 期，网络和应用升级推动数据量 的大数据处理需求为核心，围绕 学、市场预测以及医学等领域的 几何级数增长，数据变得愈为重 大数据的三个关键问题，重点阐 22 第 8 卷  第 9 期  2012 年 9 月 述五个方面的研究：（1 ）海量 数据的10~50倍”。从数据管理 理分析平台PUMA ，通过对数据 异构数据模型理论与管理技术； 的角度