陈非白高性能数据采集.pptVIP

高性能数据技术 陈非白 Index 数据从哪来到哪去 数据采集做什么？ PHP和C++？ 元数据的管理 数据从哪来到哪去？ web pc phone pad db bakup oracle hadoop ? 来 去 数据从哪来到哪去？ 数据采集问题： 1、采集什么！？ 2、数据采集中，有哪些类型数据！？ 3、流式和批量式。 数据从哪来到哪去？ PV/CLICK/UV/ACTIVE 行业指标数据 广告数据 注册/登录/使用情况 功能性数据 Abtest 指标数据 数据模型 指标阀值 数据分析 决策辅助 回馈用户 数据怎么用，在数据采集的那一刻就已经确定了，包括模型，分析方式，指标阀值 数据从哪来到哪去？ 简单定义： 流式：http数据接口，分钟或小时级别 Scribe 、flume、colloctor 批量式：DB或file的数据，天级别 ETL、为实现从一个存储加载到另一个存储的脚本 数据采集做什么？ 数据准备： 数据采集-数据转换/清洗-数据处理/存储 问题： 1、采集能力？ 2、清洗时间？ 3、维护成本？ 4、存储格式转换？ 数据采集做什么？ 数据采集做什么？ 数据采集做什么？ 1、完善流程，控制人工修改和前端数据回传。 2、采集程序标准化，支持如果后端存储挂掉，数据存储在本地或临时位置 3、增加硬件级监控 4、增加元数据监控 php和c++? Php C++ 编码难度 简