大数据采集服务Lancer系统设计与实践光环大数据培训.pdfVIP

光环大数据--大数据培训知名品牌 大数据采集服务Lancer 系统设计与实践_光环大数据培训 光环大数据培训机构，数据采集是大数据的基石，近几年随着业务的高速增 长，产生的数据量越来越大，并且会持续快速增长。因而对采集系统的实时性， 稳定性以及可靠性也提出了更高的要求。 本文主要介绍了日志采集系统Lancer 的整体架构包括各组件设计及优化 B 站原有的大数据采集服务存在的问题包括： 系统支撑能力不足 原生Flume 坑多，性能较差 异构系统较多，支持比较困难，缺乏统一的协议层标准 早期资源不足的情况下，应用的部署也不是很合理，没有做到应用的物理隔 离 埋点接入混乱 埋点错埋、漏埋、随意埋 数据无保障，易丢失、出现问题难以排查和恢复 光环大数据 光环大数据--大数据培训知名品牌 缺乏自动化接入流程，业务方接入过程耗时耗力 缺乏一套完整的数据监控体系对数据流链路进行监控 数据覆盖不完全 终端覆盖率不足 业务场景覆盖不够全面 架构 基于这些问题的存在，我们确立了新数据采集系统的整体设计目标，首先， 性能上要做到高吞吐和低延时；其次，质量上要保证数据的安全性和时效性；最 后，要做到系统高可用，提供数据灾备，保证数据零丢失。在这样的系统设计目 标之下，我们按照如下结构设计了系统： 图一：Lancer 系统整体架构 从系统架构中可以看出，该系统主要有两种数据流向，分别是实时流和离线 流，前者对应流式埋点数据的上报，数据产生并实时上报至网关层；后者对应批 量数据的同步，例如从数据库批量的对数据进行同步操作。 光环大数据 光环大数据--大数据培训知名品牌 以实时流数据为例，数据源包括服务端以及客户端，服务端日志可以通过统 一上报模块SDK 以Tcp/Udp/LogStream(基于Tcp 实现的私有协议，可以获得更 高的传输效率)进行数据的收集并上报，而客户端通过客户端数据采集 SDK 以 Http(s)根据不同的网络环境按一定策略将压缩后的数据进行上报。之后由统一 的网关层Lancer-Gateway 接收上报的数据，并写入到数据缓冲层（Kafka），最 后由数据分发层将数据从数据缓冲层中拉取，将数据写入到数据存储层（包括 HDFS、HIVE、ES、HBASE 等），提供给后续的数据仓库、实时计算或者其他业务 部门自订阅和消费。 离线流基于Sqoop，实现了数据库数据的批量同步功能，并支持分发到不同 终端的功能，关于离线流的讨论本文不做展开。 基于Flume 的数据网关层和分发层的实现方案 Flume 是由 Cloudera 软件公司产出的可分布式日志收集系统，后于 2009 年被捐赠了apache 软件基金会，现已成为apache top 项目之一。它是一个分布 式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定 制各类数据发送方，用于收集数据；同时，Flume 提供对数据进行简单处理，并 写到各种数据接受方(比如文本、HDFS、Hbase，kafka 等)的能力。 Flume 以agent 为最小的独立运行单位，单agent 由Source，Channel 和Sink 三大组件组成，而Event 作为数据在Flume 中传递的单位。 光环大数据 光环大数据--大数据培训知名品牌 图二：原生Flume 数据流 Flume 的数据流由事件(Event)贯穿始终。Event 是Flume 的基本数据单位， 它携带日志数据(字节数组形式)并且携带有header 头信息，这些Event 由Agent 外