从而影响大批量数据传输系统的传输效率-Indico.PPTVIP

QI Fazhi/CC/IHEP 大批量数据传输系统的研究与应用 中科院高能所 计算中心 曾 珊 中科院高能所 计算中心 齐法制 2011.7.6 研究背景 系统框架 各模块功能介绍 系统应用 展望 ZENG SHAN/CC/IHEP 1.研究背景 1 研究背景 高能物理实验规模的不断扩大 实验复杂性的不断增加 产生越来越多的实验数据,目前每年高能物理的实验数据量已经达到100 PB 高能物理实验存在跨地域的建设特性 如何能够将这些越来越庞大的实验数据实时、可靠、高效地传输到远程的存储和计算中心的数据传输系统，对保证物理实验实现其目标具有重要意义 2.系统框架 2 系统框架 3. 各模块功能介绍 3.1 多路径源数据扫描 由于原始数据不可再生， DAQ获取到的原始数据需要在实验现场的数据缓冲区中保留一定时间范围，以避免意外事故造成的原始数据丢失 原始数据在实验现场会分别存储到不同的磁盘阵列和磁盘目录 数据传输系统可以自动识别新产生的数据位于DAQ磁盘阵列中的具体位置并支持多源路径输入 3.2 数据传输模块 3.3 数据缓冲区自动释放模块 数据缓冲区存放于物理磁盘中，具有特定的容量，为避免数据缓冲区满而导致的原始数据无法映射到数据缓冲区中，从而影响大批量数据传输系统的传输效率，该系统中部署了数据缓冲区自动释放模块 3.4 数据中继服务 为了解决传输过程中由于网络或者某一传输节点失效造成的单点故障问题，系统支持数据中继服务 3.5 日志和监视模块 日志模块：数据文件名、数据文件传输开始和传输结束的时间、传输过程的每步的时间点、以及遇到的一些异常情况记录 监视模块：在日志模块采集日志的基础上，采用WEB页面图形化的方法实时显示每个时刻的传输结果 3.6 配置管理模块 利用Jboss 管理终端为管理员提供了管理系统的WEB页面接口 在WEB页面上，管理员可以设置 DAQ数据的磁盘阵列与系统缓冲区的映射关系 远程数据中心和计算中心的机器名 Fetcher程序轮询Dropbox的时间间隔 发送模块和接收模块用于通信的邮件名 数据存放路径 传输超时时限 传输的数据文件类型的注册 ….. 4.系统应用 4 系统应用 已经在大亚湾中微子实验中进行部署，并完成了四次测试数据的传输，已经完成了5.1T大小的数据量的传输，具有良好的效果 5. 展望 5 展望 当数据量比较大的时候，使用数据中继方式传输数据，数据接收的时延会比较长，从而影响远程的数据中心分析人员的实时分析数据。 产生该问题的原因有两个方面： 系统部署问题: 具体指大批量数据传输系统的数据处理和数据存储使用的磁盘是同一块磁盘，导致互相影响，目前已经将数据处理和数据存储使用的磁盘分离，能够对时延的缩短产生良好的效果。 系统代码本身冗余问题，这是今后改进的方向。 欢迎批评指正谢谢！ ZENG SHAN/CC/IHEP QI Fazhi/CC/IHEP