Hadoop-HDFS-需求管理报告.docxVIP

Hadoop-HDFS-需求管理报告一、Hadoop及HDFS介绍Hadoop是一个由Apache基金会所开发的/view/991489.htm分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高/view/2700299.htm容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问/view/330120.htm应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce.HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce?引擎，该引擎由 JobTrackers 和 TaskTrackers 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心对外部客户机而言，HDFS就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是 HDFS 的架构是基于一组特定的节点构建的，这是由它自身的特点决定的。这些节点包括 NameNode（仅一个），它在 HDFS 内部提供元数据服务；DataNode，它为 HDFS 提供存储块。由于仅存在一个 NameNode，因此这是 HDFS 的一个缺点（单点失败）。存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的 RAID 架构大不相同。块的大小（通常为 64MB）和复制的块数量在创建文件时由客户机决定。NameNode 可以控制所有文件操作。HDFS 内部的所有通信都基于标准的?TCP/IP?协议。【1】二、基于HDFS 2.6.0版本的需求管理分析1、需求基线（1）Bug共130个（2）Improvement共61个（3）New Feature 共6个（4）Test共11个2、需求管理过程对于每一个需求都有其对应的代理人、报告者以及观察者。由代理人负责需求的关闭与开启和重开启。解决和未解决的需求都可以按照代理人来罗列。如：Hadoop HDFS HDFS-7273Add start and stop wrapper scripts for mover代理人：Benoy Anton 报告者：Benoy Anton观察者1人3、需求版本控制每一个需求有其对应的版本，版本有开始时间和发布时间。如2.5.1版本：开始时间：20/Aug/14发布时间：05/Sep/14但没有对版本发布的时间已经进度的预估。4、需求属性每个需求具有Type、Status、Priority、Resolustion、Affects Version/s、Fix Version/s、Component/s、Labels、Assignee、Reporter、Watcher、Description、Attachments、Issue Links、Activity上述属性。如：Hadoop HDFS HDFS-6694TestPipelinesFailover.testPipelineRecoveryStress tests fail intermittently with various symptomsDetailsType:?BugStatus:PATCH AVAILABLEPriority:?CriticalResolution:UnresolvedAffects Version/s:3.0.0Fix Version/s:/jira/browse/HDFS/fixforversion/123271812.6.0Component/s:NoneLabels:NonePeopleAssignee:?Yongjun ZhangReporter:?Yongjun ZhangVotes:0?Vote for this issueWatchers:10?Start watching this issueDescriptionTestPip