大数据技术中计算与数据的协作机制 - 中国云计算.pdf

第29 卷第 1期 成　都　信　息　 　程　学　院　学　报 Vol.29 o.1 2014 年2 月 JOUR AL OF CHE GDU U IVERSIT Y OF I FORMATIO TECH OLOGY Feb.2014 文章编号:1671-1742(2014)01-0001-12 大数据技术中计算与数据的协作机制 1 2, 3 1 1 王　鹏, 　黄　焱 , 　刘　峰, 　安俊秀 　　(1.成都信息 程学院并行计算实验室, 四川成都610225;2.中国科学院成都计算机应用研究所, 四川成都 610041;3.中国科学院大学,北京 100049) 　　摘要:大数据系统也被称为面向数据的高性能计算系统, 与传统高性能计算系统相似, 其计算和数据存储通常也 是基于机群实现的分布式系统。 以计算与数据的协作机制为主线分析对比了面向计算的高性能计算和面向数据的 高性能计算, 指出正是计算与数据的协作机制决定着大数据系统的基本结构和性能。分布式文件系统与计算通过协 助机制的融合是大数据系统实现自动并行化的基础。与面向计算的高性能计算系统不同, 大数据系统以切分数据并 将计算向数据迁移作为协作机制的主要原则, 实现对海量数据的自动并行批处理。元数据映射方法、哈希映射方法 及流式拓朴方法是实现计算和数据协作的基本方法, 特别是利用流式拓朴方法可以实现实时大数据处理。 关　键　词:面向数据;协作机制;面向计算;高性能计算;大数据 中图分类号:TP316　　　　　　文献标志码:A 0　引言 信息技术的发展越来越清晰地呈现出两大主题———计算和数据,伴随这两大主题,信息技术领域出现了大数 据这个技术概念,大数据技术的出现与云计算技术的出现几乎是同时的,早在 1960 年John McCarthy 预言:“今 [1] 后计算机将会作为公共设施提供给公众” 这一云计算核心理念, 1984 年SU 公司董事会主席John Gage 提出 [2] “网络就是计算机” 这一具有云计算特征的论点,到网络的繁盛期2006 年Google 公司CEO Eric Schmidt 提出 云计算概念,再到2008 年云计算概念全面进入中国, 网络技术在云计算发展历程背后发挥了重要的推动作用。 网络技术的发展促使服务向云端集中, 并使数据量出现爆发式增长, 因此面向数据成为云计算技术的重要特征之 一,在一段时间里云计算和大数据两个概念甚至被当成同一个概念使用,一些大数据系统如Hadoop 也被称为云 计算系统,概念的模糊使不少人产生困惑。严格来讲, 大数据技术是指针对海量数据的存储、分析和发布技术,而 云计算是对资源和服务网络化提供方式的一种描述,两个概念之间的区别是很明显的。大数据系统是一种计算 和数据都密集的分布式系统,计算需要为数据分析服务,也可以称之为面向数据的高性能计算, 计算和数据的协 作机制是研究这类系统的一个视角。 李国杰院士认为:“信息系统需要从数据围绕着处理器转改为处理能力围绕着数据转,将计算用于数据, 而不 [3] 是将数据用于计算” 。海量数据本身很难直接使用, 只有通过处理的数据才能真正成为有用的数据, 因此计算 和数据两大主题可以进一步明确为数据和针对数据的计算,计算可以使海量数据成为有用的信息,进而处理成为 知识。在大数据系统中存储不是一个独立存在的系统,特别是在集群条件下,计算和存储都是分布式的, 如何让 计算“找”到自己需要处理的数据是大数据系统需要具有的核心功能。面向数据要求计算是面向数据的, 那么数 据的存储方式将会深刻地影响计算实现的方式。这种在分布式系统中实现计算和数据有效融合从而提高数据处 理能力,简化分布式程序设计难度, 降低系统网络通讯压力从而使系统能有效地面对大数据处理的机制称为计算 和数据的协作机制, 在这种协作机制中计算如何找到数据并启动分布式处理任务的问题是需要重点研究的课题, 在文中这一问题被称为计算和数据的位置一致性问题。 1　从面向计算到面向数据 1.1　计算机技术向大数据的演进历程 大数据系统架构的基本设计思想就