从而影响大批量数据传输系统的传输效率.pptVIP

QI Fazhi/CC/IHEP 大批量数据传输系统的研究与应用 中科院高能所 计算中心 曾 珊 中科院高能所 计算中心 齐法制 2011.7.6 研究背景 系统框架 各模块功能介绍 系统应用 展望 ZENG SHAN/CC/IHEP 1.研究背景 1 研究背景 高能物理实验规模的不断扩大 实验复杂性的不断增加 产生越来越多的实验数据,目前每年高能物理的实验数据量已经达到100 PB 高能物理实验存在跨地域的建设特性 如何能够将这些越来越庞大的实验数据实时、可靠、高效地传输到远程的存储和计算中心的数据传输系统，对保证物理实验实现其目标具有重要意义 2.系统框架 2 系统框架 3. 各模块功能介绍 3.1 多路径源数据扫描 由于原始数据不可再生， DAQ获取到的原始数据需要在实验现场的数据缓冲区中保留一定时间范围，以避免意外事故造成的原始数据丢失 原始数据在实验现场会分别存储到不同的磁盘阵列和磁盘目录 数据传输系统可以自动识别新产生的数据位于DAQ磁盘阵列中的具体位置并支持多源路径输入 3.2 数据传输模块 3.3 数据缓冲区自动释放模块 数据缓冲区存放于物理磁盘中，具有特定的容量，为避免数据缓冲区满而导致的原始数据无法映射到数据缓冲区中，从而影响大批量数据传输系统的传输效率，该系统中部署了数据缓冲区自动释放模块