面向海量森林资源信息的云计算作业调度算法的研究.pdf

目录 4．1算法设计与思想…………………………………………………………………………．26 4．1．1算法背景……………………………………………．…………………………………．26 4．1．2算法思想………………………………………………………………………………一27 4．2模型设计…………………………………………………………………………………．27 4-2，1权值计算模型…………………………………………………………………………一28 4．2．2预算评价模型…………………………………………………………………………一28 4．23权值更新模型…………………………………………………………………………．．29 4．3系统的设计与实现………………………………………………………………………．30 4．4本章小结…………………………………………………………………………………-3l 5实验与分析……………………………………………………………………………………。32 5．1实验环境与配置…………………………………………………………………………132 5．1．1集群配置方案…………………………………………………………………………．．32 5．1．2 Hadoop的配置安装……………………………………………………………………．32 5．2实验设计与结果分析……………………………………………………………………．34 5．3本章小结…………………………………………………………………………………．37 结论……………………………………………………………………………………………………………………………38 参考文献……………………………………………………………………………………………39 攻读学位期间发表的学术论文…………………………………………………………………42 致谢………～…………………………………………………………………………………………………………………43 万方数据 1绪论 1绪论 1．1课题背景 森林既是可再生资源，又是保护和改善生存环境的重要支柱。它的资源信息不仅是 林业管理的基础，还是林业建设中各项决策的重要依据[¨，因此如果想要了解森林的当 前信息情况，并快速高效低完成任务需求，就需要实现林业资源的实时监控和处理。 利用GIS技术采集到的森林资源信息，经过整理加工可得到海量的森林资源数据。 这些数据不仅数量庞杂繁多，而且数据类型多样，具有区域性、多维性和动态性的特 点。从时间特性上分析，有定期清查数据、连续调查数据、补充调查数据和历史数据 等；从数据来源上分析，有一类调查数据、二类调查数据、作业调查数据和其他数据来 源等【21。除了数据上的庞杂繁多，还面临着任务类型需求多样，用户期望程度不同的问 题。如果只用一台计算机来处理这些任务，即使花费巨资配置超高的计算性能，那么处 理起来也要花个把星期的时间，严重影响了信息资源的整合以及开发利用，导致森林资 源数据的价值不能得到充分的体现和应用，进而阻碍了林业信息化的发展步伐。 这个时候急需一种新盼计算模式解决和处理海量森林资源数据处理的问题。两此时 在互联网的世界里也发生了革命性的技术革新，那就是WEB2．0的出现。它在互联网泡 沫破碎之际，为网络带来了新的生机，也为海量森林资源数据的处理提供了耨的方法。 在传统网络中，互联网信息就像是一个个绝缘的信息孤岛。用户所浏览的只是单纯 的静态网页，得到的也只是企业所展示出来的信息。这些信息的发布和来源均有企业控 制，用户只是一个简单．的接收者。然而WEB2．0打破了这一局限，使众多的用户参与进 来，建立自己的个人空间，管理自己的音乐文件，上传整理自己的视频图片等等，增加 了片j户使用网络的主观能动性，并且也提高了用户和互联阚企业之问的互动和交流口3。 然而这样也产生了新的问题，就是个人数据的急剧增长，给存储和处理带来了新的挑 战。曾有这样一个实验，将实验者与外界所联系的数据不断地进行抓取和存储，结果发 现每月获得的数据量约有10B。而且当存储成本下降，一些连续的音频和视频也可以被 获取和存储时，得到的数据规模更为庞大H1。大规模的海量数据为处理和存储带来了难 题。 因此一方面，互联网用户自主添加的网络信息和数据量急剧扩充，以及每日计算机 本身所产生的数据，导致了数据的海量涌现。无论是用户角度，还