一种大数据分析组件自动化开发集成方法.PDFVIP

第３３卷第７期　　　 计算机应用与软件 Ｖｏｌ３３Ｎｏ．７ ２０１６年７月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｌ．２０１６ 一种大数据分析组件的自动化开发集成方法 １，２ ２ ２ ２ ２ 陈　茜 　吴怀林 　马志柔 　刘　杰 　钟　华 １（中国科学院大学　北京 １０００４９） ２（中国科学院软件研究所　北京 １００１９０） 摘　要　　随着大数据时代的到来，数据分析需求日趋多样化，大数据分析工具自带的算法库已无法满足个性化的数据分析需求， 亟需开发或集成新的算法。但现有的大数据分析工具算法开发集成学习成本高，给新算法的开发集成带来一定困难。提出一种针 对大数据分析工具自动化开发集成算法的方法，算法以组件的形式集成到分析工具中。首先定义组件模型，其次给出组件模型自动 化生成流程，最后重点分析组件代码的自动生成和代码检测问题，给出基于元信息的代码生成方案和基于Ｓｏｏｔ控制流的静态代码 检测方法。实验表明，该方法可以完成大数据分析组件的自动化开发集成。 关键词　　大数据分析　组件　Ｓｏｏｔ控制流分析　代码生成 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１６．０７．００８ ＡＮＡＵＴＯＭＡＴＩＣＤＥＶＥＬＯＰＭＥＮＴＡＮＤＩＮＴＥＧＲＡＴＩＯＮＡＰＰＲＯＡＣＨＦＯＲ ＢＩＧＤＡＴＡＡＮＡＬＹＳＩＳＭＯＤＵＬＥＳ １，２ ２ ２ ２ ２ ＣｈｅｎＸｉ　ＷｕＨｕａｉｌｉｎ　ＭａＺｈｉｒｏｕ　ＬｉｕＪｉｅ　ＺｈｏｎｇＨｕａ １（ＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００４９，Ｃｈｉｎａ） ２（ＩｎｓｔｉｔｕｔｅｏｆＳｏｆｔｗａｒｅ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｓｔｈｅｃｏｍｉｎｇｏｆｂｉｇｄａｔａｅｒａ，ｔｈｅｎｅｅｄｏｆｄａｔａａｎａｌｙｓｉｓｉｓｂｅｃｏｍｉｎｇｉｎｃｒｅａｓｉｎｇｌｙｄｉｖｅｒｓｅ，ｔｈｉｓｒｅｓｕｌｔｓｉｎｔｈｅｉｎｃａｐａｂｉｌｉｔｙｏｆｂｉｇ ｄａｔａａｎａｌｙｓｉｓｔｏｏｌｓｔｏｍｅｅｔｔｈｅｃｕｓｔｏｍｉｓｅｄｄａｔａａｎａｌｙｓｉｓｒｅｑｕｉｒｅｍｅｎｔｓｂｙｕｓｉｎｇｉｔｓｏｗｎｂｕｉｌｄｉｎａｌｇｏｒｉｔｈｍｌｉｂｒａｒｉｅｓ，ｔｏｄｅｖｅｌｏｐｏｒｉｎｔｅｇｒａｔｅｎｅｗ ａｌｇｏｒｉｔｈｍｉｓｕｒｇｅｎｔｌｙｎｅｃｅｓｓａｒｙ．Ｂｕｔｅｘｉｓｔｉｎｇｂｉｇｄａｔａａｎａｌｙｓｉｓｔｏｏｌｓａｌｇｏｒｉｔｈｍｈａｓｈｉｇｈｌｅａｒｎｉｎｇｃｏｓｔｉｎｄｅｖｅｌｏｐｍｅｎｔａｎｄｉｎｔｅｇｒａｔｉｏｎ，ａｎｄ ｍａｋｅｓｉｔｄｉｆｆｉｃｕｌｔｔｏｄｅｖｅｌｏｐａｎｄｉｎｔｅｇｒａｔｅａｎｅｗｏｎｅ．Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎａｐｐｒｏａｃｈｔａｒｇｅｔｅｄａｔｔｈｅａｕｔｏｍａｔｉｃａｌｇｏｒｉｔｈｍｓｄｅｖｅｌｏｐｍｅｎｔａｎｄ ｉｎｔｅｇｒａｔｉｏｎｆｏｒｂｉｇｄａｔａａｎａｌｙｓｉｓｔｏｏｌｓ，ｔｈｅａｌｇｏｒｉｔｈｍｓａｒｅｉｎｔｅｇｒａｔｅｄｉｎｔｏａｎａｌｙｓｉｓｔｏｏｌｓａｓｍｏｄｕｌｅｓ．Ｔｈｅａｐｐｒｏａｃｈｆｉｒｓｔｄｅｆｉｎｅｓｔｈｅｍｏｄｕｌｅ ｍｏｄｅｌ，ａｎｄｔｈｅｎｐｒｅｓｅｎｔｓｔｈｅａｕｔｏｍａｔｉｃｇｅｎｅｒａｔｉｏｎｆｌｏｗｏｆｔｈｅｍｏｄｕｌｅｍｏｄｅｌ，ｆｉｎａｌｌｙｉｔｐｕｔｓｔｈｅｅｍｐｈａｓｉｓｏｎａｎａｌｙｓｉｎｇｔｈｅａｕｔｏｍａｔ