原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
大规模数据存储 主要内容 大规模数据分析 Add Your Text in here 大规模数据索引 大规模数据存储 Lustre ： Lustre ： 设计前提： 硬件是不容易坏的。 特 点： 随机访问性能好，没有容错，规模低于 1PB ，节点失效 后部分数据不能访问。 HDFS ： HDFS ： 设计前提： 硬件是容易坏的，坏了也可以自动恢复。 特 点： 容错，不需要人工干预，节点失效后系统任然可持续提 供服务，规模可以扩展到 EB 。 系统结构 主从架构 :1 台 Namenode ，多台Datanodes Metadata Where is Name, replicas, … Client f? Namenode /foo/data, 3, … R1D1, R1D2, R2D1 f f Replication f Datanode Datanode Datanode Datanode Datanode Rack 1 Rack 2 yahoo 最大的 Hadoop 集群包含节点 4000 台 ；所有 Hadoop 集群节点总共一万台 HDFS 优势 ? 支持海量存储； ? 全局命名空间； ? 数据高可用性； ? 服务高可靠性； ? 系统扩展性好； ? 数据安全性； ? 易用性（ vfs 兼容层）； ? 支持 MapReduce 编程框架； ? 支持 Hbase 、 Hypertable 等分布式索引系统。 HDFS 不足 ? 随机读性能较差； ? 只支持单一追加 已满足应用需要） ； ? 文件写入不立即可读，不支持“ tail –f” ； ? 不支持 sync 、 mmap 和软硬链接操作； ? Namenode 是单点 双机备份策略基本解决问题） ； ? 大量小文件会面临 Namenode 内存不足等问题； 百度应用实践 - 问题 ? 存储超过 20PB 数据 ? 每日新增数据超过 10TB ? NameNode 瓶颈问题（容量和性能） ? 数据安全 ? 每周近百块故障硬盘 百度应用实践 - 对策 ? 2000+ NODES ? NODES ：2*4 core ，12*1 TB disk ? 分布式 NameNode ? 访问权限控制 ? 故障硬盘自动发现并淘汰 大规模数据分析 MPI ： MPI ： 设计前提： 输入数据一般不会多于 10TB ，计算很密集，计算相 关性很强，硬件不容易坏。
文档评论（0）