原创力文档- 1、本文档共9页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
scribe介绍;了解scribe日志收集系统;一、背景介绍 二、Scribe简介 三、Scribe架构 四、Scribe的主要功能;为什么需要日志收集系统
许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统。
日志收集系统特点
构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；
支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；
具有高可扩展性；;Scribe是facebook开源的日志收集系统。
从各种日志源上收集日志，存储到一个中央存储系统?（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的、高容错的方案。
地址： /facebook/scribe; Scribe从各种数据源上收集数据，放到一个共享队列上，然后push到后端的中央存储系统上。 ;支持多种存储类型
日志自动切分功能：按文件大小和时间切分
灵活的客户端：
支持多种常用语言（Thrift提供支持）；
可与应用系统集成；可以作实现独立客户端；
支持日志分类功能（Facebook有上百种日志分类）
其他功能
连接池；
灵活的日志缓存大小；
多线程功能(消息队列)；
scribe服务器之间可以转发日志；;Scribe是facebook开源的日志收集系统，从各种日志源上收集日志。;
文档评论（0）