大数据关键技术介绍董锐.pptxVIP

大数据关键技术介绍;董锐 rdong@ 基础业务研发-大数据部门 大数据产品研发Team 技术栈：搜索，高可用系统服务，大数据平台，推荐系统 ;目录;大;大数据关键技术;数据采集： ETL抽取，应用埋点，数据同步等。 数据存取：关系数据库、DFS、NOSQL等。 基础架构：调度系统，数据血缘，数据安全等。 数据处理： 批量，流式，实时，Hadoop,Spark,Strom 统计分析：回归分析、多元对应分析（最优尺度分析）、bootstrap技术 等等。 数据挖掘：分类 （Classification）、估计（Estimation）、预测 （Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、 Description and Visualization）、复杂数据类型挖掘(Text, Web , 图形图像，视频，音频等) 模型预测：预测模型、机器学习、建模仿真。 结果呈现：云计算、标签云、关系图等。;Spark Streaming ;;;;;;;;;;;;;;;;Spark;;;;;;;The End Thanks!;携程大数据系统实践 ;何蜀波 hesb@ 基础业务研发-大数据部门 大数据产品分析Team 负责：用户画像，用户行为，站外广告，ＡＢｔｅｓｔ ;;用户行为系统 用户画像系统 用户推荐系统 ;用户在网站上的浏览，排序，搜索，筛选，收藏，下单等行为;每天处理20亿条左右的数据量 数据从上线到可用的时间在300毫秒左右 查询服务每天服务亿级的请求 平均延迟在6毫秒左右;携程实时用户行为系统;storm具有强大的scale out能力。只要通过后台修改worker数量参数，并重启topology（storm的任务名称），可以马上扩展计算能力，方便应对突发的流量洪峰。 对消息的处理storm支持多种数据保证策略，at least once，at most once，exactly once。对实时用户行为来说，首先是保证数据尽可能少丢失，另外要支持包括重试和降级的多种数据处理策略，并不能发挥exactly once的优势，反而会因为事务支持降低性能，所以实时用户行为系统采用的at least once的策略。;高可用-系统降级;兆级记录条数 支持秒级查询 覆盖10亿级用户 ;用户画像整体架构;用户画像组件;用户画像离线标签更新;用户画像离线标签更新;用户画像实时标签更新;实时标签更新实例;用户画像使用实例;千人??面 用户画像提供了针对不同人的精准营销可能性 场景整合 OI及PI系统提供了跨bu的场景整合方案 实时 解决推荐总是慢一拍的问题 ;聚合 规则;HIVE/MR;;User Behavior Trace;实时ETL 行为数据和订单数据的信息抽取 数据过滤 数据Join 数据转化;实时跨设备平台 更新UID与设备的关系 更新设备与UID的关系 ;实时计算用户行为特征 基于滑动时间窗的行为特征 基于牛顿冷却定律的时间衰减 噪声数据剔除 更新用户context信息（订单，经纬度） ;实时计算用户意图 基于马尔科夫预测模型的cross-selling，up-selling 基于LBS的推荐 基于行程状态的推荐 规则引擎 订单反向推荐 常驻地推荐 ;; 根据用户的feature和产品的feature提供统一的选品查询接口。 提供复杂排序功能，如按照地理信息排序，按照命中率排序。