原创力文档- 1、本文档共14页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
分布式系统应用实践马如悦
主要内容分布式系统应用背景hadoop介绍hadoop-hdfs的介绍hadoop-mapred的介绍百度的hadoop使用状况
分布式系统应用背景解决单机无法完成的大存储(1TB)和大规模计算基于RDBMS的存储和计算瓶颈扩展差容错差可以开发自己的分布式系统开发成本高通用性差mpi？一个消息传递库利用mpi开发成本依旧很高无容错
Google的GFS，MapReduce论文的发布采用了函数式编程语言的map和reduce两个函数解决那些数据可以切割进行计算的应用，比如grep操作，求和计算提供了运行平台，自动处理出错Hadoop开源MapReduce框架实现Yahoo!支持Yahoo!的最大hadoop集群部署为4000个计算节点
Hadoop介绍Apache开源软件Java实现原Lucene的一个子项目，2008年1月被提升为顶级项目CoreHadoopDFS+HadoopMapReduceHadoopDFS用来对数据进行分布式存储，并且为上层的mapred计算层提供支持HadoopMapReduce层对存储在HDFS上的数据进行分布式计算Hbase:分布式索引系统,类Google的BigTable其他子项目:pig(Yahoo!),hive(Facebook)
Hadoop-HDFS介绍分布式存储文件被分成256MB的blockblock被分配到各个存储节点上容错性每个block有多个replica(副本)Re-Replication负载均衡Re-Balance
M/S架构：1个namenode，多个datanode
Hadoop-MapReduce的介绍
Master-JobTracker作业与任务调度负责将中间文件信息通知给reducer所在的workerMaster周期性检查Worker的存活Worker-TaskTrackerTaskTracker空闲,向Master要任务执行mapper或者reducer任务框架所做的处理作业任务调度错误处理，失败任务自动重算防止慢作业，任务的预测执行类似Linux上的单机处理
使用java书写mapred程序程序示例Streaming接口支持使用脚本和任何程序来书写mapper和reducer程序java和本地的脚本或程序利用管道传输数据程序示例: $HADOOP_HOME/bin/hadoopstreaming-inputmyInputDirs-outputmyOutputDir-mappergrepbaidu-reducer/bin/wc宜兴集群Demo
百度的Hadoop使用状况运行的应用ps-spider,ps-rank,ps-searcherns的几乎所有日志挖掘，image建库前的色情图片识别的部分日志挖掘，报表ba的商务分析正在和se-build组进行基于hadoop的建库合作现在百度的hadoop集群每天大约处理100TB，2000～3000个作业ai-hadoop监控界面展示yx-hadoop监控页面展示
谢谢!
文档评论（0）