10TB级日志的秒级搜索v3.pptx

  1. 1、本文档共54页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
10TB级日志的秒级搜索 ;目录;已有日志系统,可是。。。;底层基于Apache Lucene 实时索引, 实时分析 分布式,高可用 冲突管理(通过Version Control),避免数据丢失 支持全文搜索 面向文档 , Schema Free Restful API 开源,免费 (Apache 2 Open Source License) ;典型的ELK日志解决方案;开始实践;7;8;ES Cluster示意图;10;11;12;用户希望系统能回答类似以下问题: 访问量最高的 Uagent,Client IP是哪些 出现5xx , 4xx最高的URL是哪些 服务器平均响应时间的变化情况 Etc... 对搜索结果集做汇总可以通过Facet来实现! 注:ES 1.0版后开始用Aggregation取代Facet!;14;15;典型用例 – HTTP异常诊断;典型用例 - VDI 状态监控;典型用例 - VDI错误详情查询;典型用例 - Cloud工程师的评价;Life’s good;背后的艰辛;日志堆积;安全问题怎么办?;历练;半年后 - 小有成就 (2014/07);服务质量;ES集群资源消耗;改进后架构;干货分享;监控 – 工具;监控 – 关键指标;监控 – restful API访问记录;调优 – OS;调优 - JVM;调优 - Discovery;调优 – refresh & flush;调优 – Recovery & Restart;调优 – 索引日常维护;调优 – 减少Facet内存消耗;Why Field Data;Field Data- In Memory vs On Disk;On Disk Field Data;调优 – Logstash Indexer;集群管理 – 工具;;集群管理 – ES Cluster;集群管理 – 更简单点,GUI;权限控制;二次开发 – Kibana3;二次开发 – Aggregation API;主要局限性;展望未来 – 10x流量增长;展望未来 – 优化资源利用;Thank You!

文档评论(0)

jjt1992 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档