高能物理科研大数据平台现状、需求及关键技术.docVIP

高能物理科研大数据平台现状、需求及关键技术 　　引言 　　当前，人类正在迈入一个前所未有的大规模生产、消费和应用大数据的时代。大规模科学研究，以及近几年互联网、物联网的快速发展，把人类带入了“大数据时代”。根据数据的来源，大数据可以粗略地分成两大类：一类来自物理世界，另一类来自人类社会。前者多半是科学实验数据或传感数据，后者与人的活动有关系，特别是与互联网有关。欧洲核子中心的大型强子对撞机LHC（Large Hadron Collider）上的探测器每年产生的数据量达到 25 PB。用电子显微镜重建大脑中的突触网络，1 mm3大脑的图像数据就超过 1PB。同时，人们的日常生活与网络关联得越来越紧密，海量的数据在网络中产生、传输、存储、处理。据 IDC（Internet Data Center）公司统计，2011 年全球来自于个人的数据（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200 PB）。根据 2012 年 IDC 的数字宇宙研究报告，人类在 2010 年步入 ZB（1ZB=1×106PB）时代后，到 2020 年数据量将增长50 倍（图 1）。 　　无论科学实验数据还是人类社会产生的数据，最终只有在大数据计算平台上进行分析处理，才能将数据转换成知识和信息，发挥出大数据的价值。 　　本文首先介绍科研模式的转变以及科研大数据的需求和现状。然后，针对科研大数据平台中的关键技术，包括数据采集、数据存储、数据传输、数据处理以及共享和安全进行分析。最后，结合高能物理领域的数据处理对科研大数据平台的一些实践进行介绍。 　　1 科研大数据及其计算平台现状 　　1.1 科研模式的转变 　　人类探索世界的脚步永无止境，而科学研究的方式也在不断发展。远古时期，人们依靠观察和思辨来认识和探索世界。17 世纪以来，随着牛顿经典力学基本运动定律的发表，科学家们逐渐把实验与理论作为科学研究的基本手段。然而，随着人类探索世界的不断深入，许多科学问题的实验研究和理论研究变得越来越复杂，甚至难以给出明确的结论。近半个世纪以来，随着电子计算机的诞生与快速发展，计算机仿真模拟变成第三种不可或缺的科学研究手段，以帮助科学家们去探索实验与理论难以解决的问题，如宇宙的起源、汽车碰撞、天气预报等。而在当前社会，各个学科领域的研究不断向纵深发展，不管是实验装置还是计算机仿真模拟的规模都变得越来越大，产生了越来越多的数据，从而催生了围绕海量数据获取、存储、共享和分析的科学研究手段。 　　来自大科学装置或者计算机仿真模拟的实验数据被收集和存储起来，并通过先进高速的网络与处于不同国家或机构的合作者分享。依靠分布式计算技术及协同工作环境，科学家们不仅共享数据，还共享软件、模型、计算、专家知识甚至人力等资源，从而加快科学成果的产出。现代科学研究，特别是粒子物理、生命科学、能源环境、先进材料与纳米科学等新兴或交叉领域的发展要进行跨国家、跨地域的协作与交流，而大数据技术的发展正在对其产生深远的影响。 　　下面以高能物理为例来说明科研大数据的需求及计算平台现状。新一代高能物理实验，如 LHC实验、北京正负电子对撞机 BESIII 实验、大亚湾中微子实验、宇宙线观测实验等产生了海量的数据。到 2012 年，世界高能物理的实验数据超过200 PB，并将在以后几年中超过 1 000 PB。全球近万名物理学家利用这些数据进行物理研究。 　　1.2 大型强子对撞机 LHC 实验 　　大型强子对撞机LHC是欧洲粒子物理研究中心（European Organization for Nuclear Research，CERN）的一个大型高能物理实验装置。来自全世界（包括中国）的研究机构和大学的近万名科学家参加 LHC 上的四个主要实验。这四个实验包括 ALICE（A Large Ion Collider Experiment，大型离子对撞实验）、ATLAS（A Toroidal LHC Appa-ratuS，超环面仪器）、CMS（Compact Muon So-lenoid ，紧凑 m 子线圈）、 LHCb （ Large HadronCollider beauty experiment，大型强子对撞机底夸克实验）（图 2）。LHC 实验将探索物理学最前沿的课题，包括寻找物质质量起源的希格斯粒子、反物质、暗物质、暗能量及超对称粒子等。 　　LHC 对撞机的四个实验于 2009 年投入运行，每年产生约数十 PB 的原始数据。到 2012 年底为止，已经积累了超过 200 PB 的数据。LHC 实验将运行 20 年以上。累积的实验数据需要进行分析处理，对计算系统是一个巨大的挑战。LHC 采用了分级式计算平台，将实验数据复制到各地区的数据分析中心。这个解决方案叫做 LHC 网格，