基于Hadoop的分布式并行算法在最佳路径中的研究.pdfVIP

ELECTRONICS WORLD ・探索与观察 基于Hadoop的分布式并行算法在最佳路径中的研究 河南许继智能科技股份有限公司 蔺俊强 张长炜 西南交通大学信息科学与技术学院 孙希鹏 【摘要】 随着人们生活水平的不断提高，对于城市中最佳路径的选择有了更进一步的要求，比如，选择两座城市的最佳旅游路径，不仅可以 节约时间和金钱，同时也方便了人们的出行。文章主要对Hadoop分布式并行算法进行了研究，分别在Hadoop分布式环境与单机环境下，使 用att48数据集，对NP问题求解的时间与空间复杂度进行了对比研究，并最终计算出城市中的最佳路径。 【关键词】 分布式并行算法；Hadoop；NP问题 入参数是(key，{listof values})，输出是新的(key，value)键对。 0 引言 (5)Output ：此阶段会把Reduce输出的结果写入到输出目录指定 的位置。这样，一个典型的MapReduce过程就完成了。 云计算是近年来流行的一种新兴计算模型，而Hadoop[1]作为一个便 捷开发和并行处理巨大数据的云计算平台，以其低成本、高效率、可 靠性而备受人们关注。 T White发表的 《Hadoop: The Definitive Guide》 [3]是非常著名的Hadoop权威指南，对Hadoop 的底层原来进行了深入的剖 析与讲解,D Borthakur在 《The hadoop distributed file system: Architecture [4] and design》 中也阐述了他对Hadoop设计和架构的建议。在国内，对于 Hadoop 的设计应用研究也是比较多的，这方面研究比较好的有何婕、 朱珠， 《基于Hadoop 的数据存储系统的分析和设计》和 《基于Hadoop 图2 MapReduce的处理过程 [5] 的海量数据处理模型研究和应用》 都是比较好的研究著作。 Hadoop平台由两部分组成：Hadoop分布式文件系统(HDFS)和 2 解决的关键问题 [2] MapReduce计算模型 。HDFS采用M ／S架构，它包含一个Master 管理节点和多个Slave数据节点。MapReduce是处理大量半结构化数 在分布算法运行时，LLH 的迭代不仅仅是由HLS输送的局部解， 据集合的编程模型，它大大简化了复杂的数据处理计算。 [8] 并且为了平衡LLH算法 运行时间差异，我们并不放弃LLH 自身的迭 代，因为有可能在第N 次迭代时结果不是最优解而在N+1 次时却会产 1 主要技术简介 生最优解。所以每个LLH在运行结束后会产生2N-1个HLS 因子而不是 N个，这样会进一步扩大粒子群算法的粒子数，依据粒子群算法的特 1.1 分布式算法简介 征，会进一步优化其最终结果。且由于粒子群算法本来就是一个分布