大数据科学与工程的挑战与思考[J].docVIP

专题  第?8?卷??第?9?期??2012?年?9?月  大数据科学与工程的挑战与思考 马　帅　李建欣　胡春明　 关键词：互联网　大数据 北京航空航天大学  22  引言 IBM前董事长兼首席执行官 郭士纳（Louis Gerstner）认为， “计算模式每隔15年发生一次变 革”：1965年前后出现大型机， 1980年前后出现P C，1995年前 后发生了互联网革命，2010年前 后随着信息世界网络化、普适 化、智能化，网络与传统技术交 叉、融合，催生出云计算、物联 网等新兴产业平台。虽然计算模 式几经变迁，从单机到多机到 协同等，围绕数据处理能力的研 究应用一直都是IT发展的永恒主 题。2007年美国总统科学技术顾 问委员会（President’s Council of Advisors on Science and Technol- ogy，PCAST）的报告以及英国 e-S c i e n c e计划前首席科学家托 尼·海（Tony Hey）的著作《第 四范式：数据密集型科学发现》 （The Fourth Paradigm：Data- intensive Scientific Discovery） 都揭示出数据分析已经成为继理 论、实验和计算之后的第四种科 学发现基础，成为产生经济价值 的新源泉。它有助于分析社会 学、市场预测以及医学等领域的  规律和趋势，形成“真理尽在数 据中”的效应。“数据科学”随 之成为一个新兴的研究领域。 早在20世纪70年代，针对商 业事务处理需求，数据处理的基 础软件开始出现，而软件从过去 的文件系统、操作系统、数据库 系统，无一例外都是以更有效的 数据处理为目标，来实现对数据 更有效、更客观的分析和处理。 然而，数据处理在科学计算、 商业计算和社会计算等不同时 期发生了本质变化。在科学计算 时期，以科学数据的实时处理为 主要目标，算法及算法复杂性是 研究重点。在商业计算时期，以 金融、电信等商业智能分析为主 要目标，数据流程管理以及数据 智能分析成为研究重点。如今， 在社会计算时期，数据大规模、 个性化和大众化特性显著，例如 2011年Internet World统计互联网 用户近20亿，社交网站Facebook 活跃用户已突破8亿，其上市使 风投获千倍回报，彻底改变了传 统IT的应用模式。在社会计算时 期，网络和应用升级推动数据量 几何级数增长，数据变得愈为重  要。继人力、资本之后，数据成 为一种新的非物质生产要素，成 为支撑科学研究和各类应用服务 不可或缺的战略资源。社会计算 进入了“大数据”时代。2012年 3月29日，美国政府宣布了“大 数据研究与发展计划”，初始启 动经费2亿美元，其重要性堪比 当年的“信息高速公路计划”， 这标志着大数据已经上升到国家 战略层面。 目前大家对大数据的基本 特征还没有统一的认识和定义。 一部分观点认为大数据只是对海 量数据、数据规模等的描述和称 谓，另一部分观点认为大数据就 是指基于现有技术、方法和理论 所无法处理的数据。然而，无论 我们如何认识和描述大数据， 科学、商业和社会中涌现的各 类数据及其规模、处理能力， 已经使得数据或信息从“匮 乏”、“充足”进入到“无能 为力”的时代。 本文以大数据科学与工程 为切入点，以互联网网络化应用 的大数据处理需求为核心，围绕 大数据的三个关键问题，重点阐 第?8?卷??第?9?期??2012?年?9?月  述五个方面的研究：（1）海量 异构数据模型理论与管理技术； （2）海量复杂数据智能分析理 论与技术；（3）大数据分布式 处理技术；（4）数据质量管理 基础理论与技术；（5）大数据 的安全与隐私保护。 大数据的三个关键 问题 在“数据科学”领域，大数 据管理及处理能力已经成为引领 网络时代IT发展的关键。获取大 量真实的运行数据并建立对其进 行动态高效处理的能力，将成为 产业竞争力的体现。在这样的背 景下，社会计算引起的应用模式 变革将深刻地影响或改变IT技术 的研究理论和手段。在互联网数 据为各领域应用带来新契机的同 时，由于数据的异质异构、无结 构及不可信等特征，互联网时代 大数据的管理和分析研究需要解 决可表示、可处理和可靠性三个 关键问题。 可表示问题 　当前互联网 中的数据向着异质异构、无结 构趋势发展。非结构化数据在 互联网大数据中占有的比例大 幅增加。美国弗雷斯特研究公 司（Forrester）分析师在2010年  数据的10~50倍”。从数据管理 的角度看，非结构化数据很难按 照统一的模型进行分析处理，比 结构化数据处理难得多。正是这 些非结构化数据，使企业面对信 息的快速增长猝不及防。因此， 如何有效地表示这些非结构化数 据成为首要问题。 可处理问题 　如今数据