用户画像与实时数据的架构与实践.docxVIP

一、前言 知乎业务中，随着各业务线业务的发展，逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面，期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面，期望拥有可以实时响应的用户行为流，同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的数据实时化的诉求。在 2021 年 8 月，知乎 平台团队成立数据赋能组。针对历史实时数据需求无承接方的现象，已有用户画像系统无法满足多样的人群定向的现状，及业务方进一步人群分析的业务诉求。故提出基础设施层选用百度智能云的 Palo 作为实时数据仓库，业务工具层建设实时数据集成、实时数据调度、实时数据质量中心等系统，应用层建设实时数据应用和用户画像应用的方案。该方案针对性地解决了业务痛点，满足了业务诉求。拆分当前业务主要在实时数据和用户画像两大部分有难点，共包含如下的三个方向目标： 实时业务数据 ?1、通过提供实时的业务指标，解决业务对热点、潜力的把控，助力生产、消费，提升优质创作量及内容消费能力。 ?2、提供实时的复杂计算的外显指标，加强用户体验，解决业务侧通过后端脚本计算的高维护成本和复杂性，节约成本，提升人效。 实时算法特征 ?1、以实时数据为基础，提供多样的实时算法特征，与算法团队共同提升 DAU、留存、用户付费等核心指标。用户画像 ?1、用户筛选，做到多维、多类型的定向筛选，并接入营销、