阿里云实时推荐系统数据库设计.pdfVIP

阿里云实时推荐系统数据库设 计 digoal 业务背景 • ToB的用户推荐系统 • 业务数据包括USERID，APPID，TAGs 。 – 根据APPID+TAG组合，搜索复合条件的USERID – 查询单个用户的TAG • 数据总量约10亿 • 单个APPID用户数设计量级1亿 • TAG设计量级1万 • 规模：10万亿user_tags 贴标签 - 业务指标 • 分钟级延迟 – 写入标签数据 – 删除用户标签 – 更新用户标签 圈人 - 业务指标 • 并发指标 – 约200~300个ToB用户根据对应的APPID，根据 TAG组合筛选需要的用户群体。 • 查询需求: 按TAG组合 – 包含，不包含，或，与 – and, or, not • 响应时间指标 – 毫秒级 开脑洞 • 表结构设计 – appid, userid, tag1, tag2, , tag10000 • 查询写法 – select appid,userid from tbl where tag1 and tag2 and ... or (not tagn) or (tagx and tagxx or tagxxx) • 问题 – 全字段索引？ – 超宽表？ – 存储空间？ – 插入效率、查询效率？ 用户目前的方案 • 目前没有产品可以支撑1万列的宽表 • 拆成N张表，通过PK关联 • 目前规模1亿，使用了8 台主机 （ADS ） • TAG更新延迟1天 • 查询响应 - 分钟级 方案1 • 数据结构 – APPID， USERID， TAG[]数组 – 单个数组最大长度1GB(约支持2.6亿个TAG(int4)) • 按APPID分区，随机分片 • query语法 – 包含array2指定的所有TAG • 数组1包含数组2的所有元素 • array1 @ array2 • 支持索引检索 – 包含array2指定的TAG之一 • 数组1与数组2有重叠元素 • array1 array2 • 支持索引检索 – 不包含array2指定的所有tag • 数组1与数组2没有重叠元素 • not array1 array2 • 不支持索引检索 方案2 • 数据结构 – APPID， USERID， TAG 比特流 – 单个BIT字段最大支持1GB长度BIT流 （支持85亿个TAG ） – 每个BIT代表一个TAG • 按APPID分区，随机分片 • query语法 – 都不支持索引 – 包含bit2指定的所有TAG(需要包含的TAG对应的BIT设置为1，其他为0) • bitand(tag_ bit,bit2) = bit2 – 包含bit2指定的TAG之一(需要包含的TAG对应的BIT设置为1，其他为0) • bitand(tag_ bit,bit2) 0 – 不包含bit2指定的所有tag (需要包含的TAG对应的BIT设置为1，其他为0) • bitand(tag_ bit,bit2) = zerobit(10000) -- 0000...0000000