eventdb-基于nosql的高能物理科学大数据管理系统程耀东中科院高能所计算中心.pptxVIP

EventDB: 基于NoSQL的高能物理科学大数据管理系统程耀东中科院高能所计算中心mailto:chyd@chyd@2016-12-13传统的数据处理平台架构存储和计算分离CPUCPUCPUCPU存储网络IO瓶颈CPUCPUCPUCPU分布式文件系统存储服务器存储客户端计算区存储区高能物理海量数据管理的挑战高能物理实验数据已经超过200PB，未来将会超过1EB，管理事例数将达到千万亿级别海量实验数据需要高效管理与分析，传统方式采用文件管理，难以满足需求基于文件和NOSQL数据索引的融合数据管理架构研究思路基于单域的事例文件管理跨域的事例数据管理万亿级事例数据库基于文件的事例读取与分析基于事例的并行处理基于文件的事例过滤和筛选基于数据库的事例过滤和筛选事例特征抽取事例索引、检索、缓存事例文件事例文件事例文件事例文件本项目：基于事例的数据管理传统方式：基于文件的数据管理面向事例管理的主要优势操作NOSQL数据库，筛选事例快将DST中的事例特征抽取出来，在Hbase中建立索引直接从数据库筛选数据，不需要直接读取磁盘文件基于事例的SSD高速缓存，数据访问快将常用的DST文件缓存到SSD中基于事例的传输，数据传输快在远程站点运行的作业，仅传输筛选后的事例，节省网络带宽生成筛选样本索引文件，节省存储空间用户筛选后，仅生成事例的文件路径及偏移量的索引文件不需要保存全部的事例数据加快MPI并行