数据中台OneID：详解ID-Mapping.docxVIP

数据中台OneID：详解ID-Mapping 01?ID-Mapping简介 在推进用户画像和风险控制时，遇到的最大的问题是用户身份信息的混乱： 相同设备，不同账号间切换 相同用户，不同渠道下账号不相同，如微信小程序和APP 同个用户，在不同的设备商登录 … ID-Mapping是大数据分析中非常基本但又关键的环节，ID-Mapping通俗的说就是把几份不同来源的数据，通过各种技术手段识别为同一个对象或主题，例如同一台设备（直接），同一个用户（间接），同一家企业（间接）等等，可以形象地理解为用户画像的“拼图”过程。一个用户的行为信息、属性数据是分散在很多不同的数据来源的，因此从单个数据来看，都相当于“盲人摸象”，看到的只是这个用户一个片面的画像，而ID-Mapping能把碎片化的数据全部串联起来，消除数据孤岛，提供一个用户的完整信息视图，同时让某一个领域的数据在另一个领域绽放出巨大的价值。 详情： 数据中台的OneID是个什么鬼，主数据它不香吗？ ID-Mapping有非常多的用处，比如： 跨屏跟踪和跨设备跟踪，将一个用户的手机（App、小程序）、PC、平板等设备的上的行为信息串联到一起。 风险防控层面，通过模型识别可能存在用户、设备伪造问题。 02?ID-Mapping行业内方案 1、阿里巴巴OneID 在阿里巴巴内部用户的ID类型包含：phone、PC cookie、IMEI与IDFA、淘宝账户、支付宝账户、邮箱等。而对于每个BU来说，他们知道的只是这个客户的片面属性，在开展营销活动时，只是针对一个手机号或一个邮箱做营销，但背后不能识别出来一个自然人、一个公司。为打破数据孤岛，创造更大的数据价值，阿里使用OneData作为核心方法论。 OneData体系包含： OneModel：数据资产构建与管理 OneID：实体打通和画像 OneService：逻辑化服务 OneID 的做法是通过统一的实体识别和连接，打破数据孤岛，实现数据通融。简单来说，用户、设备等业务实体，在对应的业务数据中，会被映射为唯一识别（UID）上，其各个维度的数据通过这个 UID 进行关联。各个部门、业务、产品对业务实体的 UID 的定义和实现不一样，使得数据间无法直接关联，成为了数据孤岛。基于手机号、身份证、邮箱、设备 ID 等信息，结合业务规则、机器学习、图算法等算法，进行 ID-Mapping，将各种 UID 都映射到统一 ID 上。通过这个统一 ID，便可关联起各个数据孤岛的数据，实现数据通融，以确保业务分析、用户画像等数据应用的准确和全面。 2、网易ID-Mapping 网易产品线有网易云音乐、网易邮箱、网易新闻、网易严选等，不同应用上有不同的ID，如yanxuanid、oaid、musicid、phone、email、idfa、imei等。 要想标识唯一ID，网易采用的思路及方案为：结合各种账户、各种设备型号之间的关系对，以及设备使用规律等用户数据，采用规则规律、数据挖掘算法（连通图划分+社区发现）的方法，判别账户是否属于同一个人。 ID-Mapping过程中，常遇到的问题及对应方案如下： 用户有多个设备信息。解决方案：定义相关的阈值进行关联。社区发现当前应用于营销场景，暂未用于风控或用户运营场景，因为这种方式会把一些异常的账号关联在一起，且会存在仅登录使用过一次的设备信息。 设备过期，一般是2年半左右时间。解决方案：设定衰减系数，对单用户多设备加大衰减力度。 备注：通常一人多设备对应的场景有，借用朋友设备、设备脏数据、刷号等。 3、58同城 ID-Mapping 58业务场景丰富，其产品线包含58同城、赶集、安居客、中华英才网、转转、58到家等。在这种多用户、多业务线、多子公司的情况下，用户数据种类繁杂，构建画像的数据来自于日志、简历库、帖子库、用户信息库、商家库、认证信息库等数据源，其中仅日志就涉及到58、赶集、安居客等各个子产品的PC/M/APP日志。如何将众多数据源串联起来是构建用户画像面临的第一个问题，如下是58构建的ID-Mapping模型图。 从图中可以看出，不同业务线所拥有的ID标识不一： 58同城：wuser、wbdid、wimei 58赶集：guser、gbdid、gapud、gimei 安居客：kimei 其中可以通过telep、bidua、appua、imei、idfa关联起来，由此建立不同ID之间的关联映射关系，就是ID-Mapping的过程。 4、美团ID-Mapping 美团与大众点评进行了合并，那同一个用户在两个APP上有不同的身份标识，美团要怎样进行唯一标识呢？我们来看看美团和大众点评的账号体系。美团采用手机号、微信、微博、美团账号的登录方式；大众点评采用的手机号、微信、QQ、微博的登录方式；其交集为手机号