一种大数据分析组件的自动化开发集成方法.pdfVIP

第 33卷 第 7 期 计算机应用与软件 Vol .33 No . 7 2016年 7 月 Computer Applications and Software Jul . 2016 一种大数据分析组件的自动化开发集成方法 陈 茜 1 2 吴怀林 * 2 马志柔 2 *刘 杰 2 钟 华 2 Y 中国科学院大学北京 100049) 2 ( 中国科学院软件研究所北京100190) 摘 要 随着大数据时代的到来，数据分析需求日趋多样化，大数据分析工具自带的算法库已无法满足个性化的数据分析需求， 亟需开发或集成新的算法。但现有的大数据分析工具算法开发集成学习成本高，给新算法的开发集成带来一定困难。提出一种针 对大数据分析工具自动化开发集成算法的方法，算法以组件的形式集成到分析工具中。首先定义组件模型，其次给出组件模型自动 化生成流程，最后重点分析组件代码的自动生成和代码检测问题，给出基于元信息的代码生成方案和基于Sot 控制流的静态代码 检测方法。实验表明，该方法可以完成大数据分析组件的自动化开发集成。 关键词 大 数 据 分 析 组 件 Sot 控制流分析代码生成 中图分类号 TP3 文献标识码 A D0I:10.3969/j.issn. 1000-386x.2016.07.008 AN AUTOMATIC DEVELOPMENT AND INTEGRATION APPROACH FOR BIG DATA ANALYSIS MODULES Chen Xi12 W uH uailin2 MaZhirou2 Liu Jie2 Zhong Hua2 1 ( University o f Chinese Academy o f Sciences , Beijing 100049, China) 2 {Institute o f Software, Chinese Academy o f Sciences, Beijing 100190, China) Abstract As the coming of big data era , the need of data analysis is becoming increasingly diverse , this results in the incapability of big dataanalysis tools to meet the customised dataanalysis requirements by using its own build-in algorithm algorithm is urgently necessary. But existing big data analysis tools algorithm has high learning cost in development and integration， and makes it difficult to develop and integrate a newone . This paper proposes an approach targeted at the automatic algorithms development and integration for big data analysis tools， the algorithms are integrated into analysis tools as modules . The approach firs