车载环境下基于异构Hadoop的云端存储技术研究-电子与通信工程专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 车联网正日益深入到我们的生活，为我们提供各种各样的服务。庞大的车联网系统会产 生海量数据，因此车联网的云计算平台就成为车联网信息化的关键。一直以来 Hadoop 在云 计算领域的表现突出，尤其是具有低成本和高效率的特性，其市场认可度越来越高。Hadoop 集群的硬件环境在部署之初一般都是同构的，但是随着对集群硬件不断的扩展、升级和改造， 原来针对同构硬件环境的存储方案已难以满足当前异构集群的需求。针对该问题，本文研究 了一种基于数据温度和节点性能来改善异构 Hadoop 集群读写性能的方案，主要工作如下： 首先，为了更准确地获取特定 Hadoop 应用场景下的集群节点性能，本文研究了一种基于 多元线性回归模型（Multivariable Linear Regression Model, MLRM）的节点性能计算方法。该 方法首先利用基准性能测量工具获取节点的磁盘读写速率、内存的随机访问存取速率以及 CPU 的运算速率，其次建立节点性能和三个参数之间的线性回归模型来计算各节点的性能。 基于 Hadoop 的实验分析表明，本文所提出的模型计算的节点性能值与实验所得节点性能值 相吻合，验证了前述模型的可行性。 其次，针对异构 Hadoop 集群存储性能下降的问题，本文研究了一种基于节点性能和数据 温度的存储方法。该方法在 Hadoop 分布式文件系统（Hadoop Distributed File System, HDFS） 异构存储方案基础上，考虑了同类型存储介质节点之间的性能差异，通过建立数据温度和存 储策略之间的映射关系，将访问频度高和时间度新的文件存放在性能更好的节点上，实现集 群中的能者多劳。实验结果表明，该方法对部署 Hadoop 集群的车联网云平台的读操作有显 著的改善。 关键词: 大数据，异构集群，数据温度，节点性能，Hadoop I Abstract Internet of Vehicles is increasingly affecting our lives and it contains massive valuable data, hence the cloud computing in Internet of Vehicles is becoming more and more significant. As a leader in cloud computing, Hadoop is increasingly popular in big data. The hardware environment of the Hadoop cluster is generally homogeneous under the initial conditions, however, with the passage of time, the homogeneous environment will gradually evolve into a heterogeneous environment and the performance of storage policy will be reduced. Therefore, a storage policy based on data temprature and node performance is propsed in this thesis to slove this problem. Firstly, in order to obtain the node performance in specific Hadoop application scenario