高通量计算系统的云计算服务环境.docVIP

“高通量计算系统的云计算服务环境” 年度总结报告编写提纲 年度计划执行情况 对照“项目计划任务书”，重点阐述： 年度计划完成情况； 本项目2011年度的主要研究目标是：确定高通量系统的功能优势和性能优势，测试分析典型应用案例的相关运行时间消耗等；确定移动云计算服务的功能需求和性能需求特点；基于上述结果和移动运服务功能需求，完成针对高通量计算系统的移动云计算服务环境设计。 所有目标已经全部完成，根据实际情况，我们提前开展了资源虚拟化及其提供机制，虚拟资源的调度和优化管理机制，高可靠、可扩展、可容错的分布式文件系统等内容的研究，并开发出一些相应的系统，具体情况请参见后面的描述。 研究工作的主要进展 主要进行了以下关键技术的研究： 位置感知(Location-Aware)的MapReduce，MapReduce是云计算的重要编程模型之一，它能够并行的处理或产生大数据集，在Web索引、数据挖掘、机器学习等领域具有广泛的应用。随着CPU内核数目的增加，在同一台物理机上运行多个虚拟机已经成为可能，但是I/O设备的能力变化不大，这给I/O密集型的MapReduce应用带来了严重的问题——由数据冗余减少和负载不均衡所导致的I/O相互干扰会引起应用性能的急剧下降。为了解决这一问题，我们提出了一个在虚拟环境中进行数据分配的模型并定义了相应的度量方法。在上述工作的基础上，设计了一种位置感知的文件块分配策略，实验结果表明，我们的策略能够有效消除I/O的相互干扰，I/O密集型应用的运行时间减少10%-30%，CPU密集型应用也有8%左右的提高。 基于本地副本的混合副本管理机制LR2M。 云存储通过大量的廉价服务器和普通的底层网络环境来提供稳定的、低代价、高性能的存储服务。这样的设计使得云存储可以整合已有设备，甚至可以使用旧的和已经淘汰的服务器。因此，对于一个庞大的云存储系统来说，节点失效、磁盘故障、甚至网络故障随时都有可能发生，为了防止数据丢失，提高数据的可靠性，常用而有效的办法就是在不同的节点中放置多个数据副本，例如GFS保证所有数据至少拥有3个副本。将多个数据副本保存在不同的节点中可以有效的提高成功获取至少一个数据拷贝的机会，数据的可靠性随着副本数量的增加而呈指数级增长。但增加数据副本后，一方面降低了系统的有效存储容量，另一方面也会带来维护多个副本间数据一致性的开销，从而影响到数据存取性能。目前云存储系统一般采用强一致性的同步多副本来持久化存储数据，这种强一致性的副本策略对于数据吞吐量要求高的特定应用具有很好的性能表现，但传统应用的不仅仅是这些高数据吞吐量的特定应用，还包括需要用户参与交互的，数据吞吐量小，但对访问延迟敏感的实时应用。为了提高云存储系统的I/O性能，我们从数据副本的一致性入手，通过采用异步的弱一致性副本更新策略来提供云存储系统的I/O性能。同时，为了减少异步数据更新对数据可靠性的影响，我们引入了本地同步副本，提出了一种基于本地副本的混合副本管理机制LR2M。LR2M在将数据写入到云存储系统的同时，在本地保存同步副本，这样使得系统拥有由本地副本和一个云中的主副本构成的强一致的副本对，而主副本与云中其他副本之间异步更新。此外，为了在不影响用户体验的前提下，提高数据的可靠性，LR2M还能够根据数据更新操作的频率来自适应的切换同步和异步更新模式。围绕着提高性能话题，LR2M从减少交互次数和降低元数据服务器负载的角度进行了优化设计。针对于保证数据可靠性的要求，我们设计了LR2M在节点失效的情况下进行数据恢复的机制和流程，并对文件的一致性进行了深入的分析，提出了一种文件一致性的检验方法，用于对丢失最新数据块副本的损坏文件进行一致性检验。我们对LR2M进行了性能测试，测试结果表明，LR2M与强一致性的副本策略相比，性能提高了60%。我们还通过模拟实际应用的PostMark对LR2M进行了宏观性能测试，结果表明，与强一致性的副本策略相比，LR2M能够明显减少应用程序的执行时间。 面向存储管理的元数据查询技术，随着文件系统规模不断扩大,存储管理问题日益突出。元数据查询是管理员监视和了解文件系统的主要手段,在空间分配、资费统计、容量规划、故障诊断、层间数据迁移等存储管理任务中扮演着重要角色，但海量元数据的的抓取和同步、长扫描查询(即涉及到大量乃至全部元数据的查询)的有效支持还面临巨大的挑战。针对这些问题，我们首先分析了两个企业级文件系统负载日志,发现了有助于元数据查询系统设计优化的若干元数据静态和动态特征，即:(1)元数据的变化频度展现出高度畸形的分布,一小部分频繁改变的文件贡献了绝大部分文件系统变化;(2)被分析的文件系统存在两种典型的变化间隔:低于10ms的间隔和从1000秒到100万秒的间隔, 前者主要是由临时文件引起的,后者主要发生