并行计算框架spark的自动检查点策略-东南大学学报.pdfVIP

第４７卷第２期 东南大学学报（自然科 学版 ） Ｖｏｌ．４７ Ｎｏ．２ 　 ２０１７年３月 ＪＯＵＲＮＡＬＯＦＳＯＵＴＨＥＡＳＴＵＮＩＶＥＲＳＩＴＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） 　 Ｍａｒ．２０１７ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－０５０５．２０１７．０２．００６ 并行计算框架Ｓｐａｒｋ的自动检查点策略 １ １，２ １ １ ２ 英昌甜　 于　炯 　 卞　琛　 鲁　亮　 钱育蓉 １ （新疆大学信息科学与工程学院，乌鲁木齐８３００４６） ２ （新疆大学软件学院，乌鲁木齐８３０００８） 摘要：针对现有的Ｓｐａｒｋ检查点机制需要编程人员根据经验选择检查点，具有一定的风险和随 机性，可能导致恢复开销较大的问题，通过对ＲＤＤ属性的分析，提出了自动检查点策略，包括权 重生成 （ＷＧ）算法和检查点自动选择（ＣＡＳ）算法．首先，ＷＧ算法分析作业的ＤＡＧ结构，获取 ＲＤＤ的血统长度和操作复杂度等属性，计算ＲＤＤ权重；然后，ＣＡＳ算法选择权重大的ＲＤＤ作 为检查点进行异步备份，来实现数据的快速恢复．结果表明：在使用ＣＡＳ算法时，不同数据集执 行时间和检查点容量大小都有所增加，其中ＷｉｋｉＴａｌｋ由于其计算量较大，增幅明显；使用ＣＡＳ 算法设置检查点后，在单点失效恢复的情况下，数据集的恢复时间较短．因此，自动检查点策略在 略微增加执行时间开销的基础上，能够有效地降低作业的恢复开销． 关键词：自动检查点；ＲＤＤ权重；Ｓｐａｒｋ；恢复时间 中图分类号：ＴＰ３１１　　文献标志码：Ａ　　文章编号：１００１－０５０５（２０１７）０２０２３１０５ ＡｕｔｏｍａｔｉｃｃｈｅｃｋｐｏｉｎｔｓｔｒａｔｅｇｙｆｏｒｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇｆｒａｍｅｗｉｔｈＳｐａｒｋ １ １，２ １ １ ２ ＹｉｎｇＣｈａｎｇｔｉａｎ　 ＹｕＪｉｏｎｇ 　 ＢｉａｎＣｈｅｎ　 ＬｕＬｉａｎｇ　 ＱｉａｎＹｕｒｏｎｇ １ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＸｉｎｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｕｒｕｍｑｉ８３００４６，Ｃｈｉｎａ） ２ （ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ＸｉｎｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｕｒｕｍｑｉ８３０００８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＴｈｅｅｘｉｓｔｉｎｇＳｐａｒｋｃｈｅｃｋｐｏｉｎｔｍｅｃｈａｎｉｓｍｒｅｑｕｉｒｅｄｔｈｅｐｒｏｇｒａｍｍｅｒｔｏｃｈｏｏｓｅｔｈｅｃｈｅｃｋ ｐｏｉｎｔａｃｃｏｒｄｉｎｇｔｏｔｈｅｅｘｐｅｒｉｅｎｃｅ，ｔｈｕｓｉｔｈａｄａｃｅｒｔａｉｎｒｉｓｋａｎｄｒａｎｄｏｍｎｅｓｓ，ｒｅｓｕｌｔｉｎｇｉｎｌａｒｇｅｒｅｃｏｖ ｅｒｙｏｖｅｒｈｅａｄ．Ｔｏａｄｄｒｅｓｓｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｅｒｅｓｉｌｉｅｎｔｄｉｓｔｒｉｂｕｔｉｏｎｄａｔａｓｅｔｓ（ＲＤＤ）ｃｈａｒａｃｔｅｒｉｓｔｉｃｓｗｅｒｅ ａｎａｌｙｚｅｄ，ａｎｄｔｈｅｗｅｉｇｈｔｇｅｎｅｒａｔｅｄ（ＷＧ）ａｌｇｏｒｉｔｈｍａｎｄｃｈｅｃｋｐｏｉｎｔａｕｔｏｍａｔｉｃｓｅｌｅｃｔｉｏｎ（ＣＡＳ）ａｌ ｇｏｒｉｔｈｍｗｅｒｅｐｕｔｆｏｒｗａｒｄ．Ｆｉｒｓｔ，ｉｎｔｈｅＷＧａｌｇｏｒｉｔｈｍ，ｔｈｅｄｉｒｅｃｔｅｄａｃｙｃｌｉｃｇｒａｐｈ（ＤＡＧ）ｏｆｔｈｅｊｏｂ ｗａｓａｎａｌｙｚｅｄ，ａｎｄｔｈｅｌｉｎｅａｇｅｌｅｎｇｔｈａｎｄｔｈｅｏｐｅｒａｔｉｏｎｃｏｍｐｌｅｘｉｔｙｏｆＲＤＤｗｅｒｅｏｂｔａｉ