科学计算环境文件传输和共享服务FileTransferandSharing-Indico.PDF

科学计算环境文件传输和共享服务 曹荣强，肖海力，王小宁，卢莎莎，解晓伟 （中国科学院计算机网络信息中心,北京，100190） 摘要：新的科研和工程活动正在以越来越快的速度产出海量且多样化的数据，这些数据带来 巨大的计算需求并且迅速增长，数据传输时间占作业处理时间的比例越来越大。本文面向中 国科学院科学计算环境，针对计算环境中几百MB 到GB 量级的数据文件传输耗时长、网络 不稳定和数据共享等问题，设计和实现基于微服务架构的文件传输和共享服务，提供一组简 单易用的REST 开发接口，包括文件传输、管理、共享、统计等服务。该服务的目标是提升 作业数据文件的传输效率和在线分享能力，为多学科领域的开发人员提供简单易用的数据开 发服务，为用户提供简单灵活的数据传输和共享服务。理论分析和实验表明，该服务简单易 用并具备良好的可扩展性，能够根据负载变化而动态扩展文件传输微服务。 关键字：高性能计算，数据传输，数据共享，REST 接口，微服务 File Transfer and Sharing Services for Scientific Computing Environment