大数据用户系统节.pptxVIP

大数据-用户画像DMP;大数据用户画像系统课程

一、项目概述

?目前推广平台仅在投放端提供了有限的定向能力，广告主没有足够的流量抓手，无法满足大中型广告主的营销目标。画像系统提供基础人口属性、消费行为、兴趣偏好、地理位置等众多数据标签，商户具备人群圈定、人群洞察、人群解析的能力，实现精准化、个性化的营销需求。

;功能目标

????用户画像平台提供商家全方位洞察用户的能力，提供如下功能：

标签体系构建，当前包含5大类：人口属性、消费能力、行业偏好、用户轨迹、场景偏好

标签查询，查询单个标签覆盖用户量

用户画像查询，查询某个用户的标签列表

;人群创建，通过组合标签圈定用户

人群洞察，提供人群UV预估、标签人群分布

人群同步，如同步给广告投放平台，进行精准营销；同步给短信营销

人群扩展

·自定义人群

人群报表，查看人群的投放效果

性能目标

???10亿用户、万级标签：

标签/画像查询，毫秒响应

人群洞察，毫秒~秒级响应

人群同步，小时级生效

人群扩展，T+1天生效

自定义人群，小时级生效;二、系统开发要求

涉及的技术要点：spark、elasticsearch、hadoop、hive、LRGBDT等机器学习算法

开发工具：idea、eclipse

开发环境：spark2.2、hadoop2.7、hive1.2、hbase、redis

开发语言：scala、java、python、shell、sql;三、课程一览

1、用户画像概述

什么是用户画像，为什么要用户画像，画像的场景应用

业内，facebook,阿里巴巴（达摩盘），腾讯（广点通）分析

打造自己的内部达摩盘，基本功能跟达摩盘一致

2、画像指标整理

1.基础属性。人的基础属性标签，包括地域、年龄、性别等。

2.兴趣偏好。这部分是投放端已有的定向能力，后期可规划更细的基于宝贝、店铺或行业的搜索选择，特定兴趣的定向功能。

3.行为轨迹。基于兴趣偏好更细的行为（包括浏览、点击、成交、收藏、复购等），及不同时间段的行为交叉（包括1天、7天、30天的行为）。

4.消费能力。基于平台的支付交易，购物行为、交易额计算高中低，及类目上的高消费偏好。

5.好友关系。基于平台的关系链数据，推荐偏好该宝贝、店铺、行业的好???用户。

6.自定义人群。支持上传自定义人群包，lookalike扩展包的大小。

;3、画像标签体系建设和开发

1）基本属性

地域、年龄、性别、学历、职业

2）兴趣偏好

品牌、店铺、一级类目、场景、行业

3）消费能力

能力等级开发

4）特征人群

划分一些特定的人群，高活跃，低活跃，有车一族，奶爸一家

5）LBS属性

长居住地

6）用户轨迹

交易、浏览，收藏等;4、画像系统架构

功能：画像多维度分析、画像指标下钻分析、投放效果追踪分析

技术：基于es、spark、hadoop建设画像计算，以及数据存储和计算

模块：用户人群包（交集并集）、追踪分析、人群画像、人群对比模块开发

5、画像系统应用案例

用户精准营销

用户商品推荐;名称解释

标签：用户特征的抽象，用以描述具有某一相同特征的用户群体，依赖于平台海量的用户数据。如性别标签‘男’，表示平台的男性用户群体；标签有很多种分类方式，从挖掘的方式上可分为规则标签、模型标签

私域标签：表示特定店铺的用户标签，如‘7天内购买过小米旗舰店手机’；私域标签只能给指定的商家使用

公域标签：平台商家共享的标签；如性别标签、地域标签、平台消费能力标签、类目消费能力标签等

用户画像：一套完整的标签体系，可以对用户全方位的刻画，形成用户画像

人群包：通过标签的逻辑组合(与、或、排除)圈定的一批用户构成一个人群包，人群包可直接用于广告投放

自定义人群包：大的商家可通过上传店铺访客的号码包(如手机号、商品ID、店铺ID)圈定一批用户构成商家自定义人群包；自定义人群包是再营销的重要手段，圈定的用户通常属于高价值用户

人群扩展(Lookalike)：当人群包覆盖的用户数量(UV)不足时，可通过人群扩展，初始圈定的用户作为种子用户，DMP会根据系数扩展出一批相似用户，扩展人群可用于广告投放

人群洞察：针对用户圈定的人群，提供人群数量预估，人群画像查看的功能

;1、掌握画像标签开发技巧

2、掌握数据挖掘技巧

3、了解业内画像和DMP系统的架构和开发

4、大数据结合业务场景落地