用户画像大数据构建方案.pptVIP

基于大数据的 -用户画像构建 变革的第三次浪潮 大 上个世纪八十年代，著名的未来学家托夫勒在《第三次浪潮》这样认为，人类社会经历的前两次浪潮分别是农业与工业，二者都使得人类社会发生了变革式的变化。而被托夫勒称为“第三次浪潮的华彩乐章”的大数据，也终于在本世纪崭露头角，正式的登上了时代的舞台。随着云计算的出现，大数据正在越来越多的领域展现出不俗的能力。 BIG DATA 据 数 什么是大数据 Whats The Big Data 普遍的认为，大数据的概念起源于谷歌的“三驾马车”：谷歌文件系统、MapReduce和Big Table三篇论文，这几篇论文奠定了大数据的基础。 2003年 2004年 2007年 BIG DATA 关于大数据，有许许多多的概念，但是真正需要理解的大数据，是大数据的“大”字。什么是大，顾名思义，第一是数据体量大，TB级的数据，只是大数据分析的门槛。第二，指的是数据的深度，深度又可以具象的称为维度，也就是单条数据的原始特性维度广。 大数据（BIG DATA） 1PB相当于50%的全美学术研究图书馆藏书信息内容 1PB 2021年，全世界的数据量将达到52ZB。 5EB相当于至今全世界人类所讲过的话语 5EB 1YB相当于7000位人类体内的微细胞总和 1YB 1ZB如同全世界海滩上的沙子数量总和 1ZB 数据存储 计算性能 算法 更大 基于传统数据库和NoSQL集合成的NewSQL 更快 新的分布式计算框架--云计算 更丰富 更多能解决复杂场景中的问题的机器学习与深度学习算法 例如：Alpha-Rank 大数据--用户画像 Big Data--Persona 用户画像即是用于描述用户属性、行为和期待的特征。它具有以下几种重要的特征： 真实性（Realistic）：画像用于描述真实的用户。 目标性（Objectives）：建立画像的过程是具有目标的。 应用性（Applicable）：画像维度的建立，应用于实际决策。 长久性（Long）：用户标签具有长久性。 在实际工业场景中，用户画像常用于推荐模型的前置模型。 基于POI的文体标签开发 开发需求： 为真实用户增加科教文化爱好和体育休闲爱好的标签。 对应细化文体爱好标签中的种类。 开发思路： 爬取上海大中型文体POI信息，基于建筑经纬度描边和中心点获取POI对应的基站信息。 分析上海移动两千多万用户的轨迹信息，分析用户的轨迹图，寻找出特征点。 用户与场馆对应，用于细化文体爱好标签。 大量POI举办的活动信息无法通过爬虫获取的数据，需要通过数据接口获取。 POI信息的判断中，加入了经验性的分析，即弥补高德地图收集信息的部分缺失。 各个文体POI的经纬度信息，需要爬取高德地图上的信息。 用户的基站和轨迹信息，来源于中移的数据库。 爬虫 中移数据库 数据接口 经验分析 建立数据关联 模型选择和特征工程 结果验证 获取的多个维度的数据，需要进行维度整合，如poi位置信息与人的轨迹信息之间的维度融合。 分析数据特性，完成模型的选择，并根据模型特性做特征工程。 验证用户问题标签的真实性，多角度多维度分析，例如真实用户验证和真实活动验证。 将POI信息，基站信息，与用户轨迹信息融合在一起，成为分析模型的输入数据。 一级点为POI，POI通过距离和范围串联二级点。 二级点为基站，通过用户轨迹信息中的基站信息，串联三级点。 三级点为人，通过串联的方式将三个层级的属性融合在一起。 验证日期 验证POI场馆 活动时间区间 疑似活动虹口足球场 - -虹口足球场 - -虹口足球场 18-21 五月天上海演唱会虹口足球场 18-21 五月天上海演唱会虹口足球场 18-21 五月天上海演唱会 验证点一 验证点二 抽样验证了部分实际到场的文体爱好者，是否标签正确。 文体标签结果统计 统计日期 模型输出人数 累计人数（去重） 新增不重复人数227462 227462 227462218926 357883 130421304320 449288 91405330065 517055 67767310633 563420 46365 表格中统计了连续五天的含有文体标签的用户，数据呈现收敛趋势，符合真实场景分布特性。 限制与不足 Limitations And Deficiencies 计算资源 数据可靠性 高并发的爬虫，受到现场网络及计算机的限制 建模过程，hadoop可调用的计算资源过少，无法实现高重复性的模型训练。 高德地图POI信息存在错误数据和滞后数据。 中移收集的基站经纬度