Flume数据采集平台实现零丢失架构优化策略.pdfVIP

数据真的是必须得0丢失？

用户行为日志，产出的一个数据报表，无非就是看一个趋势，折线图，精准的数字是没人关

心的，每天次点击，每天次点击。但是量大，100万日活用户，用

户行为日志上亿，量很大，吞吐量很大

业务数据库里的数据，截止昨天为止，APP上的营收是1030万，APP上的营收是980万，

50万，这个就。每天100万日活用户，大量的都是一些业务库的查询，查商品，查

订单，查评论。订单10

SpillableMemoryChannel，优先是写数据到内存

对于分发层的flume，做一点二次开发，定制一个interceptor，对日志数据，打入一

种header，type=log；对业务库的数据，打入一种header，type=db