HADOOP的高能物理分析.docxVIP

HADOOP的高能物理分析平台 孙功星 高能物理研究所/计算中心 2013-07-05 HEP Experiment（International） CMS experiment as a example. Raw data sent to online farm.（1PB/s) Physics Data: 1.5MB @ 150Hz=225MB/s (-tape) Alignment and Calibration Data: 100MB/s LHC runs for 10 million of seconds/year. 3PB/year. Life time 20 years: 60PB. Atlas is same as CMS. 150PB for all 4 Experiments on LHC 高能物理实验（国内） 国内的BESIII实验为例。 北京正负对撞机从2009年运行，产生了大量数据。 产生的数据量约3PB。 物理分析的数据约1/10，即300TB，10亿个事例（event)。 特点：数据量大、物理事例无关，同时属于“大海捞针”。 IHEP Computing Environment Architecture 10Gb Ethernet (computing. Storage Network) 1GE 1GE 1GE IHEP Campus Network CNIC 10Gbps 10Gbps 10Gbps 10Gbps 1Gbps Disk Servers CPU servers ON-line farm FC TPservers 10Gbps Login Servers Home Dirs(AFS) +Monitoring +Scheduler Tape Lib. Computing Storage Facilities at IHEP 2 Tape Libraries(5PB)柜 Computing Cluster(+10000cores) Central shift room Disk storage(4PB) 180X10Gb ports core switch 造价不菲！ 计算技术发展 主机时代：打孔—操作系统。 专用连接时代：MPP。 以太网时代：Cluster计算/PC-FARM。 广域互联时代：网格计算。 强PC时代：强处理能力、大内存、大磁盘容量。如何利用？ PC时代：先进的数据处理框架 键-值对（Key，value）：扩展性好、并发性高、速度快。存储：PB-EB。 索引：分布式、稀疏的、高并发、列查询。 更多优势：便宜、高效。 1991年伯克利内存数据库：一个内存（key,value）应用。 计算模式改变 传统集群：数据—计算； Hadoop集群：计算—数据。 后果： - 充分利用本地资源； - 减少了I/O的压力； - 减少系统造价； - 提高性能。 搜索引擎：Google GFS（Google File System）。 BigTable：打破了传统数据库的局限，使非SQL数据库成研究热点 MAP/Reduce并行处理框架。 PageRank：对网页重要性评估的算法。 极强创新群体，工程师大都是自然科学博士。微软大都是本科生。 2003年开始发表论文，介绍研究及应用成果。 Larry Page(1973), 身价198亿美元。密执安州立大学博士 Sergey Brin(1973), 身价198亿美元。斯坦福大学博士 开源项目：Hadoop 组件：HDFS、HBASE、Mapreduce ….。（2005年） Examples Yahoo： 40,000 nodes，100,000 cores The largest cluster has 4500 nodes Facebook：two hadoop clusters 1100 nodes, 8800 cores, ~12PB disk space 300 nodes, 2400 cores, ~3PB disk space Each node has 8 cores, 12TB disk space Baidu (year 2011)： 10,000 nodes Customized nodes based on Intel framework, each node cost 3K-5K USD, with 12*1TB disks, 32GB memory 10 高能物理与Hadoop Bioinformatics, weather prediction, astronomical image processing, … High Energy Physics 7 CMS sit