“大数据”背景下的信息处理技术分析与研究.pdfVIP

本期话题 http: // “大数据”背景下的信息处理技术 分析与研究* □ 于薇 / 中国科学技术信息研究所 北京 100038 摘要：“大数据”是信息科技领域出现的一个研究焦点。文章从 “大数据”的概念进入，对其特征进行梳 理总结，对 “大数据”处理的核心技术进行分析，比较分析各个 “大数据”处理商业解决方案的特点，最后结合 “大数据”特征分析科技文献信息，对 “大数据”在科技文献信息处理领域的应用进行探讨性分析与研究。 关键词：大数据，Hadoop ，信息处理技术 DOI ：10.3772/j .issn .1673—2286.2012.11.003 引言 1 关于 “大数据” 其中的“大”是指大型数据集，一 般在10TB规模左右；多用户把多个 “大数据”是继“云计算”之 目前为止，“大数据”还没有一 数据集放在一起，形成PB 级的数 后，在信息科技领域出现的一个研 个统一的定义，信息处理领域的大 据量；同时这些数据来自多种数据 [3] 究焦点。无处不在的传感器和微处 企业和机构都提出了“大数据”定 源，以实时、迭代的方式来实现 。 理器，形成了庞大的数据来源。科学 义，总结起来，主要有以下几个代 ● 在For r e st er 分析师布赖恩• 研究领域，气象数据、地理数据、生 表性定义： 霍普金斯 （Br i an H op k in s ）和鲍 物信息数据等是传统的海量数据 ● 麦肯锡在其报告中指出，“大 里斯•埃韦尔松 （B or i s Evel son ） 集；制造业领域，很多机器上都安 数据”是指那些大小已经超出了传 撰写的《首席信息官，请用大数据 装了一个或多个微处理器来采集 统意义上的尺度，常规的数据库技 扩展数字视野》报告中，他们提出 生产数据；商业消费领域，网上购 术难以完成捕捉、存储、管理和分 大数据的4 项典型特征——海量 [1] 买记录、消费评价等等数据都成为 析的数据集合 。 （Volu m e ）、多样性（Var iet y）、 大数据问题；各国政府的海量统计 ● I BM 把大数据概括成了3个 高速 （V e l o c i t y ）和易变性 [4] 数据和文件也因计算机技术的发 V，即规模性 （Vo lu m e ）、多样性 （Variability） 。 展而成为亟待分析处理的大数据问 （Var iety）、高速性（Velocity）。 ● I D C提出的“4V ”原则，即 题。国际数据公司（IDC）的数字宇 规模性指大数据的规模很大，突破 容量、类型、速度和价值（volume、 宙研究报告称，2011年全球被创建 了PB级数据量；多样性指大数据来 variety、velocity和value）。 和被复制的数据总量为1.8Z B ，并 源广泛，包括结构化和非结构化数 可以看出，大数据必须同 预测到2 02 0 年