CCTC2016-利用ELK监控Hadoop集群负载性能.pdf

下载文档 降价啦

1
0
约4.11千字
约 26页
2019-06-25 发布于山东
举报
版权申诉
保障服务

CCTC2016-利用ELK监控Hadoop集群负载性能.pdf

1、本文档共26页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

利用ELK监控Hadoop集群负载性能亚信数据橘云产品线王栋利用ELK监控Hadoop集群负载性能橘云定位：亚信开源商业版Hadoop产品系列 2006 2008 2009 2011 2013 2015 橘云OCI 利用ELK监控Hadoop集群负载性能目录 • Hadoop集群负载性能监控面临的问题 • 使用ELK进行Hadoop集群负载性能监控 • ELK介绍 • ELK监控Hadoop集群负载性能的实现原理 • 使用Ambari安装，部署和管理ELK • ELK和Ambari深度集成利用ELK监控Hadoop集群负载性能 Hadoop集群负载性能监控面临的问题 • Hadoop集群运维中负载相关的问题 Ø文件系统异常，导致系统处理能力下降。 Ø 随着业务量增大，负载处理能力是否能够满足需求。 Ø不同队列上的资源分配方式不合理，导致作业不能及时处理完成。 Ø 资源抢占引起大量的作业运行失败。 Ø个别任务长时间处于挂起状态，导致作业不能及时完成。 Ø … 利用ELK监控Hadoop集群负载性能目录 • Hadoop集群负载性能监控面临的问题 • 使用ELK进行Hadoop集群负载性能监控 • ELK介绍 • ELK监控Hadoop集群负载性能的实现原理 • 使用Ambari安装，部署和管理ELK • ELK和Ambari深度集成利用ELK监控Hadoop集群负载性能使用ELK进行Hadoop集群负载性能监控利用ELK监控Hadoop集群负载性能使用ELK进行Hadoop集群负载性能监控利用ELK监控Hadoop集群负载性能目录 • Hadoop集群负载性能监控面临的问题 • 使用ELK进行Hadoop集群负载性能监控 • ELK介绍 • ELK监控Hadoop集群负载性能的实现原理 • 使用Ambari安装，部署和管理ELK • ELK和Ambari 的深度集成利用ELK监控Hadoop集群负载性能 ELK的优势 • 分布式的数据存储，索引和查询引擎。 • 日志数据收集，清洗，装载。 • 基于Elasticsearch的数据分析和数据可视化工具。利用ELK监控Hadoop集群负载性能 ELK的优势 • ELK的特点 Ø简单，快速开发，可灵活扩展的信息收集，清洗和处理能力。 Ø高效，分布式的数据存储，管理和查询能力。高可用，高可靠性保证。 Ø简洁易用的图形化界面，提供简单直观的数据分析和数据可视化功能的开发。 Ø引入ELK，可以为Hadoop集群快速开发负载性能监控的Dashboard，为用户提供可视化的监控功能。利用ELK监控Hadoop集群负载性能目录 • Hadoop集群负载性能监控面临的问题 • 使用ELK进行Hadoop集群负载性能监控 • ELK介绍 • ELK监控Hadoop集群负载性能的实现原理 • 使用Ambari安装，部署和管理ELK • ELK和Ambari 的深度集成利用ELK监控Hadoop集群负载性能 ELK监控Hadoop集群负载性能的实现原理利用ELK监控Hadoop集群负载性能 ELK监控Hadoop集群负载性能的实现原理 • 利用Logstash + logpreparer来收集Hadoop集群的负载相