- 1
- 0
- 约7.84千字
- 约 8页
- 2020-10-18 发布于天津
- 举报
仅供个人参考
仅供个人参考
不得用于商业用途
不得用于商业用途
Hadoop分布式文件系统:架构和设计要点(翻译)
一、前提和设计目标
1、 硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成, 任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是 HDFSI勺 核心架构目标。
2、 跑在HDFSt的应用与一般的应用不同,它们主要是以流式读为主,做批量处 理;比之关注数据访问的低延迟问题,更关键的在于数据访问的高吞吐量。
3、 HDFS^支持大数据集合为目标,一个存储在上面的典型文件大小一般都在千 兆至T字节,一个单一 HDF取例应该能支撑数以千万计的文件。
4、 HDFS应用对文件要求的是write-one-read-many 访问模型。一个文件经过 创建、写,关闭之后就不需要改变。这一假设简化了数据一致性问题,使高吞吐
量的数据访问成为可能。典型的如 Map Reduce!架,或者一个webcrawler应用 都很适合这个模型。
5、 移动计算的代价比之移动数据的代价低。一个应用请求的计算,离它操作的
数据越近就越高效,这在数据达到海量级别的时候更是如此。将计算移动到数据 附近,比之将数据移动到应用所在显然更好, HDFS提供给应用这样的接口。
6、 在异构的软硬件平台间的可移植性。
二、Name nod却 Data node
HDFS 采用 m
您可能关注的文档
- 03、化合物及性质.docx
- 05年细胞试题及答案.docx
- 14秋《人际交往与沟通艺术》作业.docx
- 2001年全国计算机软件专业资格和水平考试高级程序员级试题及答案.docx
- 2007年海南、宁夏卷数学(理科)含答案.docx
- 2009年1月合同法试题和答案.docx
- 2009年春季学期《工业控制网络》试题答案.docx
- 2010年井组层间精细注采调整部署汇编.docx
- 2011解题能力展示复赛中年级组(含解析).docx
- 2012年1月管理系统中计算机应用真题.docx
- 2026年中国消化酶复合颗粒行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消化酶复合物行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消化内镜仿真终端行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消化系统胆道支架行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消化系统软糖行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消化性溃疡药物行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消偏振板式分束器行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消杀服务行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消声静压箱行业市场规模及投资前景预测分析报告.pdf
- 2026年中国消声箱行业市场规模及投资前景预测分析报告.pdf
原创力文档

文档评论(0)