星辰系统：百万量级细粒度.PDFVIP

星辰系统：百万量级细粒度 查询意图识别 叶祺 北京搜狗科技发展有限公司 2016-4-21 目录 • 动机与目标 • 现有方法 • 框架与方法 • 效果与应用 动机与目标 • 搜索广告的现状 – 当前的搜索广告中，搜索引擎主要基于关键字 匹配的搜索模式。 • 问题 – 查询短、特征稀疏、歧义强 – 字面匹配缺乏意图相关特征 – 广告缺乏相关性 – 伤害用户体验、造成客户无效消耗 动机与目标 • 目标 – 挖掘海量细粒度查询意图 – 建立查询与意图间映射关系 – 处理高频与长尾查询 – 高精确性与较高覆盖率 现有方法 • Google 的Google Rephil系统 – Google广告相关性的头号秘密武器 – 对词或短语片段聚类发现概念 – 百万量级的概念 – 基于Bayesian网络的推断方法 – 细节不公开 现有方法 • 识别意图的3类方法 – 短文本聚类 – Topic Modeling – 查询分类 • 特点 – 可发现细粒度意图、难覆盖长尾查询 – 不同数据集Topic难对应，短文本分析精确不足 – 一般含几十到上千个类，粒度较粗 框架与方法 • 细粒度意图识别方法 框架与方法 • 星辰系统整体框架 查询聚类 • 构建Query 同点击网络 – 基本假设：点击相同网页的查询意图相似 • 对网络进行社团划分 – 查询间的意图会有细微差别、误点情况 – 聚类算法要具有一定抗噪性 – 图挖掘中的社团发现算法 社团发现算法 • 社团的定义 – 网络中一群节点集合。 – 集合中节点间的内部链接很多，而集合中节点与外 部网络的链接却很少。 • 传统方法 – 主要发端于 Girvan 与 Newman 于 2002 年提出的开 创性工作 – 定义了一个质量函数 M. Girvan and M. E. J. Newman, PNAS 99, 782 1 (2002). M. E. J. Newman and M. Girvan, Phys. Rev. E 69, 026113 (2004). MMO算法 • MMO算法 • MMO算法的优点 – 易于实现 – 时间复杂度近似线性，空间复杂度为线性。 – 推广到 Hadoop 并行环境中的运行 – 避免生成极大的社团 同点击网络构造 • 数据集 – 2年的匿名点击日志 • 具体步骤 – 抽取query-URL的关系 （1300万查询，1650万URL ） – 如果两个query 间有一个同点击，则在两个 query 间连接一条边 – 得到查询同点击网络 （1300万查询节点，8亿条边）