构建社交网络搜索.docxVIP

构建社交网络搜索

构建社交网络搜索

构建社交网络搜索

一、技术架构与数据底座在社交网络搜索能力建设中的支撑作用

（1）多源异构社交数据的采集与清洗体系。社交网络中的数据天然具有多源、异构、高噪、时效强的特点，用户发布的内容既包括短文本、长文章、评论、转发语，也包括图片、短视频、直播片段、位置签到、群组聊天摘要和跨平台账号动态。构建社交网络搜索，第一步并不是直接做排序，而是建立可持续更新的数据采集与清洗体系。需要通过平台开放接口、公开页面抓取、授权数据接入、消息队列订阅等方式，把不同平台的动态纳入统一数据湖。原始数据进入系统后，要进行去重、脱敏、语言识别、垃圾信息过滤、机器人账号标注、