使用内存缓存的迭代应用编程框架.pdfVIP

计 算 机 系 统 应 用 http：lw／ww．c—S—a．org．cn 2015年 第 24卷 第 3期 使用内存缓存的迭代应用编程框架① 连文波 ，汪美玲 ，陶秋铭 ，赵 琛 f中国科学院软件研究所 基础软件国家工程研究中心，北京 100190) (中国科学院大学，北京 100190) 摘 要：迭代式计算是一类重要的大数据分析应用．在分布式计算框架MapReduce上实现迭代计算时，计算会被 分解成多个作业并按作业依存关系顺序运行，这使得程序与分布式文件系统(DFS)有多次交互而影响程序执行时 问．对这些交互相关数据的缓存会降低与DFS的交互时问，进而提升程序总体的性能．考虑到集群中的大量内存 在多数情况下会处于空闲状态，提出了一种使用内存缓存的迭代式应用编程框架 MemLoop．该系统从作业提交 API、调度算法、缓存管理模块实现缓存管理以充分利用内存缓存迭代间可驻留数据与迭代内依存数据．我们将 此框架与 已有相关框架进行了比较，实验结果表明该框架能够提升迭代程序的性能． 关键词：作业依存；内存缓存；迭代程序；迭代间可驻留数据；迭代内依存数据 M emLoop：AProgrammingFrameworkUsingIn—MemoryCacheforIterativeApplica