基于软件定义网络的分布式文件系统设计-读书笔记.docxVIP

《基于软件定义网络的分布式文件系统设计》读书笔记 Quan Hengxing，Wei Xuecai，Wang Man．Design of Distributed File System Based on Software Defined Network[J]．Computer Engineering，2016，42(5)：47-53． 由于我们导师研究的主要方向为操作系统，所涉及的领域包括分布式文件系统、分布式存储、虚拟技术等，所以本次我在图书馆检索了一篇与我们研究的领域以及SDN相关联的期刊文献进行学习与研究。该文献是复旦大学计算机科学技术学院研究生在计算机工程发表的《基于软件定义网络的分布式文件系统设计》。以下是我通过阅读文献以及查阅相关资料获得的一些心得体会。 该文献是依托于国家“863”计划基金资助项目，设计并实现了一个在仿真SDN环境中的分布式文件系统，主要利用SDN提供的底层网络的动态数据资源，计算出数据传输的实时最佳路径，为分布式文件系统中的大数据进行流量引导，从而提高分布式文件系统在读写和修复方面的性能。 1、设计理念的提出： 文献中首先分析了当下时代背景，在信息技术高速发展的如今，传统网络已经很难满足上层用户的需求，涌现了大量的新型技术，如云计算、大数据、虚拟化等。这对传统网络提出了挑战也提供了机遇。 然后分别给出了SDN和分布式文件系统的简单介绍，了解了SDN是一种新型的网络架构，能够对网络中的设备控制层、数据转发层等进行抽象和解耦，以及网络硬件的高度虚拟化，使得软件编程能够去定义整个网络，使得整个网络更加灵活，解决了很多传统网络上很多难以解决的问题。也学到了分布式文件系统的主要组成，它是由多个存储节点、一个或多个控制节点和一套软件组成，能够提供强大的、安全的、可扩展的数据存储能力。但是，传统的分布式文件系统没有考虑底层网络情况，因此，该文件系统的读写性能、修复能力有较大的局限性，而SDN正好能够改善这方面的性能，由此引出了基于软件定义网络的分布式文件系统的设计理念，并从读操作、写操作以及系统修复这三个最基本操作来比较本文的提出的模型与传统模型的提升。 通过这一小点的学习，我大致了解了SDN以及分布式文件系统的基本知识，以及作者写本文的思考过程。这让我知道在以后的研究中需要大量的阅读，只有丰富的知识积累才能够量变引起质变。 2、相关工作的研究： 提出了基于SDN的分布式文件系统的设计理念，接下来，文献中通过大量的文献阅读与资料整理与研究，总结了研究的相关工作。通过对该文献的阅读，我总结了一下SDN应用在其他各方面带来的优点： （1）SDN技术在数据中心网络的应用十分广泛，包括流量工程、监控、以及网络资源优化等。例如OpenNetMon在OpenFlow网络中实现了基于流的网络监控，有利于建立细粒度的数据中心流量工程。又例如，谷歌公司将SDN应用到实际系统中，在数据中心实现了一种基于SDN的负载均衡的设计。 （2）SDN技术在云服务上也应用广泛，致力于将网络资源转变成一种服务（NaaS），进而对大数据分析提供依据，有效提高网络性能。 （3）SDN技术在分布式存储的应用也一直是热点研究方向，它能够实现更低成本的可靠性存储。这方面研究已经有很多大型公司进行了探索与实现。 根据相关工作的分析，文献中，提出了所用到的算法为弹性树修复算法，它利用了网络编码技术，在异构的存储节点上重点考虑了实际的存储环境，使得分布式文件系统的性能更加优越。 通过对这部分的阅读，我了解了SDN技术的广泛应用、优点、以及巨大的研究前景，这也让我对SDN产生了巨大的研究兴趣，希望在以后的学习及研究中，能够多了解SDN。多应用SDN到自己的研究中。 3、系统的设计与实现 提出了设计理念、做了大量准备工作，文献中接下来用大篇幅具体介绍如何实现基于SDN的分布式文件系统。 架构基础：首先，提出设计结构是参考了结合SDN网络本身的优点的HDFS架构。其中，SDN提供底层网络的通信功能，同时能够按照上层业务逻辑来自定义数据流向。HDFS的各个节点通过OpenFlow交换机连接在SDN网络中，如此产生的数据流量就能通过SDN Controller进行控制。 设计关键点：在该设计中关键是如何设计两个中央控制节点，即SDN的Controller节点以及HDFS的NameNode节点。文中提出两种解决方案，即分离式（将两个控制节点分别实现在两个逻辑节点上，通过RPC或其他通信方式来通信）；结合式（将两个控制节点在一个逻辑节点上实现，分别作为不同的进程存在于同一个实体机上，这样就能通过进程间的通信方式来通信）。 技术突破点：基于以上设计理念，HDFS的NameNode节点需要在两种不同的网络环境中进行通信：（1）与SDN的Controller通信，获取底层网络信