分布式产品数据采集动态任务调度模型的研究.docVIP

分布式产品数据采集动态任务调度模型的研究 　　基金项目：本文系国家社科基金重大项目“我国质量安全评价与网络预警方法研究”（项目编号：11ZD158）、科技部质检公益性行业科研专项“质量监管技术及安全风险信息系统支撑研究”（项目编号：201210117）的研究成果之一。 　　作者简介：余凡（１９８５－），男，博士后，研究方向：知识管理、网络评论与预警。?理论探索? 　　〔摘要〕网络数据采集是大数据时代进行数据挖掘和分析的基础性工作。本文尝试着以任务在不同节点上采集过程中产生的信息作为调度指标制定动态任务调度策略，分别从任务调度策略、任务修改策略和任务回收策略3个角度构建任务调度模型，最后通过实验分析其可行性。实验结果表明，动态任务调度模型能够提高数据采集的效率。 　　〔关键词〕数据采集；动态任务调度；任务调度策略；任务修改策略；任务回收策略 　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１４．０４．００２ 　　〔中图分类号〕Ｆ０６２?保怠参南妆晔堵搿常痢参恼卤嗪拧常保埃埃福?０８２１（２０１４）０４－０００７－０６ 　　Distributed Products Data Crawling System 　　Based on Dynamic Task Scheduling ModuleYu FanCheng HongWang ChaoYu Hong