- 1、本文档共22页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
携程用户数据采集与分析系统
分享人 王小波
讲师介绍
姓名 王小波
• 2014年加入携程
• 框架研发部(高级工程师)
• 用户数据采集和分析以及相关产品的
设计与开发
1 用户数据采集发展历史
2 前端数据采集SDK实践
目录 3 后端采集服务架构实践
CONTENTS
4 相关的数据分析产品
5 我们踩过的坑
用户数据采集发展历史
• Web/Hybrid/H5
• 只支持手动埋点
• 基于Nginx访问日志
• 基于Storm日志解析
服务
• 基于Nginx的Queue
模块
• 存在的问题
1. 采集数据较单一
2. 采集效率较差
3. 数据有序性较难保证
• 新一代数据采集系统
前端数据采集SDK实践
• 多平台支持
1. iOS、Android、Web、Hybrid、RN、小程
序
• 多种采集方案
1. Tcp + Http(s)
2. 自动化埋点 + 手动埋点
• 采集数据质量保证
1. 数据上下文关联
2. 序列号连续性校验
3. 数据优先级设置
4. 数据发送策略优化
• 自动化埋点
1. 页面PV事件
2. 用户点击事件
3. 应用性能数据(网络、启动时间)
4. 劫持监控数据
后端采集服务架构实践
• 系统架构设计要求
1. 高吞吐、低延时
2. 数据的安全性、有序性
3. 数据灾备、零丢失
• 系统整体架构设计
1. 采集服务基于Netty
2. 存储服务基于Kafka
3. 实时分析基于JStorm
• 系统整体架构设计
4. 采集协议Tcp/Http(s)
5. 数据加密压缩传输
• 系统整体架构设计
6. 采集服务实时监控
7. 本地灾备高效存储
相关的数据分析产品
• 数据分析产品看板
• 单用户浏览跟踪
• 页面转化率
• 用户访问流
• 点击热力图
• 采集数据调试
• 性能看板
我们踩过的坑
• Android版数据采集SDK代码混淆导致序列化/反序列化错误
• Android-SDK在多进程环境下数据共享
• Android6.0以上版本WifiManager API获取Mac地址
您可能关注的文档
- 微型无痛注射硅针管的设计与制造详解.PDF
- 基于Hadoop农业大数据管理平台的设计①分析.PDF
- 潍坊市民政局城乡居民家庭经济状况核对系统升级改造及设详解.PDF
- 基于LMI的Delta算子不确定系统的鲁棒D稳定性分析与控制分析.PDF
- 温度信号智能监控隔离变送器详解.PDF
- 基于ZigBee的图像采集传输系统研究与实现分析.PDF
- 无纸记录仪数据采集系统详解.PDF
- 基于改进萤火虫算法的移动机器人路径规划分析.PDF
- 基于混合云架构的高可用实践分析.PDF
- 基于激光扫描的船舶超载超吃水自动监测系统①分析.PDF
- 2024年中国钽材市场调查研究报告.docx
- 2024年中国不锈钢清洗车市场调查研究报告.docx
- 2024年中国分类垃圾箱市场调查研究报告.docx
- 2024年中国水气电磁阀市场调查研究报告.docx
- 2024年中国绿藻片市场调查研究报告.docx
- 2010-2023历年初中毕业升学考试(青海西宁卷)数学(带解析).docx
- 2010-2023历年福建厦门高一下学期质量检测地理卷.docx
- 2010-2023历年初中数学单元提优测试卷公式法(带解析).docx
- 2010-2023历年初中毕业升学考试(山东德州卷)化学(带解析).docx
- 2010-2023历年初中毕业升学考试(四川省泸州卷)化学(带解析).docx
文档评论(0)