头条数据聚合优化实践1.docx

PAGE 2 头条数据聚合优化实践  业务背景介绍 中华万年历的头条数据是根据推荐算法聚合而成的数据，包括ALS算法数据、用户画像数据、时效数据、非时效数据、定投数据、惊喜数据、频道数据、热榜数据、用户相关阅读推荐数据等。启动方式分为冷启动和用户画像启动。 冷启动：无用户画像或用户画像得分8分。 用户画像：根据用户浏览头条数据给用户打的一系列标签，标签采用Long型的数字进行标记，譬如娱乐285L,旅游1127L。 时效数据：和时间相关的数据，会随着时间的推移自动消失，譬如新闻、娱乐。 非时效数据：和时间不相关的数据，会长期存在，譬如养生。 定投数据：通过管理后台手动投放的数据，一般为固定位置数据，如广告、帖子。 惊喜数据：排除画像之外的数据。 频道数据：多个标签下的数据组合而成的数据。频道是标签的父类，一个频道对应包涵多个标签，标签是用户画像组成的基本单位。 热榜数据：根据用户点击实时上传的日志计算得分较高的数据。 用户相关阅读推荐数据：根据用户点击实时上传的日志计算相关联的数据。 数据存储 头条的数据都是从合作方抓取的，通过定时调用第三方API进行抓取。抓取的数据经过频道标签分类后存储到mysql数据库。头条服务会每隔一段时间把数据库里面的数据reload到redis中，然后再从redis中reload到本地内存中。数据的聚合就是把内存中的数据按照算法进行组装。 为