作业可分割的数据采集系统-华南师范大学学报.PDF

华南师范大学学报 （自然科学版） ２０１４年９月 ＪＯＵＲＮＡＬＯＦＳＯＵＴＨＣＨＩＮＡＮＯＲＭＡＬＵＮＩＶＥＲＳＩＴＹ 第４６卷第５期 　　　　　　　　　　　 Ｓｅｐ．２０１４ 　　　　　　　　　　　 （ＮＡＴＵＲＡＬＳＣＩＥＮＣＥＥＤＩＴＩＯＮ） 　Ｖｏｌ．４６　Ｎｏ．５ 文章编号：１０００－５４６３（２０１４）０５－００３２－０５ 作业可分割的数据采集系统 １ １，２ 颜　洁 ，聂瑞华 （１．华南师范大学计算机学院，广州５１０６３１；２．华南师范大学科技处，广州５１０６３１） 摘要：随着网络规模的增长和ＩＰｖ６协议的发展，用户增强对大规模网络系统进行数据信息的采集和监控的需求．现 有网络性能管理系统主要采用一个工作节点进行网元性能数据采集，获取大量小任务后通过ＳＮＭＰ协议直接执行， 出现响应时间长、网络带宽占用大的问题．针对此问题，在兼容ＩＰｖ４／ＩＰｖ６的网络环境中，提出了作业可分割的数据 采集系统：系统采用集群模式克服单节点执行效率瓶颈，并针对大量小作业，采用基于采集节点动态反馈负载权重， 通过负载权重分析当前不同采集机的任务执行能力，进行任务的重组、封装成新的任务，并将新任务发送到相应的采 集节点上．实验结果证明，改进的数据采集系统能够提高作业流的处理能力，降低响应时间，减少对网络带宽的占用． 关键词：网络管理；数据采集；集群；ＸＭＬ；作业可分割；负载均衡 中图分类号：ＴＰ３９３　　　文献标志码：Ａ　　　ｄｏｉ：１０．６０５４／ｊ．ｊｓｃｎｕｎ．２０１４．０６．０４３ ＤａｔａＡｃｑｕｉｓｉｔｉｏｎＳｙｓｔｅｍＢａｓｅｄｏｎＤｉｖｉｓｉｂｌｅＪｏｂ １ １，２ ＹａｎＪｉｅ，ＮｉｅＲｕｉｈｕａ （１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＳｏｕｔｈＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ５１０６３１，Ｃｈｉｎａ； ２．ＤｅｐａｒｔｍｅｎｔｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｕｔｈＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ５１０６３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＷｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｔｈｅｎｅｔｗｏｒｋａｎｄｔｈｅＩＰｖ６ｐｒｏｔｏｃｏｌ，ｔｈｅｕｓｅｒｒｅｑｕｉｒｅｍｅｎｔｏｆｎｅｔｗｏｒｋｓｙｓｔｅｍａｃ ｑｕｉｓｉｔｉｏｎａｎｄｍｏｎｉｔｏｒｉｎｇａｌｓｏｉｎｃｒｅａｓｅｓ．Ｔｈｅｅｘｉｓｔｉｎｇｎｅｔｗｏｒｋｐｅｒｆｏｒｍａｎｃｅｍａｎａｇｅｍｅｎｔｓｙｓｔｅｍｍａｉｎｌｙｕｓｅｓａｓｉｎｇｌｅ ｗｏｒｋｎｏｄｅｔｏｏｂｔａｉｎｔｈｅｎｅｔｗｏｒｋｐｅｒｆｏｒｍａｎｃｅｄａｔａ，ａｎｄｅｘｅｃｕｔｅｓｔａｓｋｓｖｉａｔｈｅＳＮＭＰｐｒｏｔｏｃｏｌｗｈｅｎｇｅｔａｌａｒｇｅｎｕｍ ｂｅｒｏｆｓｍａｌｌｔａｓｋｓ．Ｉｔｌｅａｄｓｔｏｌｏｎｇｒｅｓｐｏｎｓｅｔｉｍｅａｎｄｌｏｗｔｈｒｏｕｇｈｐｕｔ．ＩｎｔｈｅｃｏｍｐａｔｉｂｉｌｉｔｙｏｆｔｈｅＩＰｖ４／ＩＰｖ６ｎｅｔｗｏｒｋ ｅｎｖｉｒｏｎｍｅｎｔ ，ｔｈｅｄａｔａａｃｑｕｉｓｉｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｄｉｖｉｓｉｂｌｅｌｏａｄｉｓｄｅｓｃｒｉｂｅｄ．Ｔｈｉｓｓｙｓｔｅｍｕｓｅｓｔｈｅｃｌｕｓｔｅｒｍｏｄｅｌ ｗｈｉｃｈｒｅｓｏｌｖｅｓｔｈｅｅｘｅｃｕｔｉｏｎｅｆｆｉｃｉｅｎｃｙｆｏｒａｓｉｎｇｌｅｗｏｒｋｎｏｄｅ，ａｎｄｐａｃｋａｇｅｓｔｈｅｏｌｄｓｍａｌｌｊｏｂｓｔｏｎｅｗｊｏｂｓｄｅｐｅｎ ｄｉｎｇｏｎａｎａｌｙｚｉｎｇｅｘｅｃｕｔｉｏｎｅｆ