高能物理通用数据传输系统设计与实现-Indico.PDFVIP

高能物理通用数据传输系统 设计与实现 高能物理研究所计算中心 曾珊 2017年6月5 日 成都 大纲 • 背景介绍 • 设计目标 • 架构设计 • 模块功能介绍 • 部署模式 • 目前进展与下一步计划 背景介绍 • 高能物理实验产生海量数据 – CSNS: 每年500TB – LHAASO: 每年4PB – JUNO: 每年2PB • 实验现场异地建设 – 数据具有共享需求 – 高能所为保证远程数据传输 提供了良好的广域网环境 • 对数据传输系统提出新的需求 – 通用型（部署统一、维护方便） – 实时性（数据实时传输） – 稳定性（重传、监控…） 大纲 • 背景介绍 • 设计目标 • 架构设计 • 模块功能介绍 • 部署模式 • 目前进展与下一步计划 设计目标 • 设计一种通用的数据传输系统，满足多个高能物理 实验的数据传输需求 – 实现海量数据的共享与分发（1对1或者1对多） • 从实验现场传输到高能所计算中心/其他计算中心 • 从高能所计算中心分发到其他合作单位计算中心 – 该系统能够应用于所有的高能物理实验，通过配置文件 的修改来满足不同实验的需求 – 功能灵活扩展 – 系统稳定性 • 缓冲区机制 • 重传机制 – 良好的接口设计 大纲 • 背景介绍 • 设计目标 • 架构设计 • 模块功能介绍 • 部署模式 • 目前进展与下一步计划 架构设计(I) • 基于DYB数据传输系统SPADE进行开发实现 – 该系统已稳定运行8年 – 完成从大亚湾现场到高能所再relay到LBNL 的源数据传输 • 部署于Wildfly （JEE server ）上的Java application – COMMON-SPADE • JUNO SPADE/LHAASO SPADE/CSNS SPADE…. – 根据配置文件中参数的不同，实现不同的功能 • 发送：Sender Instance • 接收：Receiver Instance PostgreSQL MySQL H2 JDBC JDBC JDBC wildfly H2console *-SPADE 架构设计(II) • 从JBoss7到Wildfly – DYB SPADE部署于JBoss7之上（基于JavaEE 的开源的应用 服务器） – 存在的问题：启动很慢，代码结构复杂 – Wildfly是Jboss被Redhat公司收购后的更名 • 代码重整，采用模块化设计 • 非常轻量，内存占用非常少（解决启动慢的问题） • 方便的配置和管理接口 • 严格遵守Java EE7和OSGi规范