055-基于深度学习的搜索算法：深度结构化语义模型【萌萌家】.pdf

055|基于深度学习的搜索算法：深度结构化语义模型

2018-01-08洪亮劼来自北京

《AI技术内参》

近两个月，我们集中系统地分享了搜索核心技术模块。做一个简单的内容梳理，我们讲解了搜

索引擎方方面面的话题，从经典的信息检索技术、查询关键字理解、文档理解到现代搜索引擎

的架构和索引的核心技术；还从机器学习角度出发分享了搜索引擎的最核心部分，也就是排序

算法，深入排序算法的细节讲解了排序支持向量机（RankSVM）、梯度增强决策树

（GBDT）以及经典模型LambdaMART。至此，整个人工智能领域关于搜索的经典话题也就

告一段落了。

那么，这个星期，我们来看一些关于搜索算法的前沿思考。火热的深度学习不仅对图像、视频

和音频这些领域产生了巨大的冲击，也对自然语言处理、甚至搜索领域有不小的影响。深度学

习带给传统的模型和算法以新的建模能力和新的视角，为以前所不能完成的应用打下了基础。

今天，我们来看一篇较早利用深度学习技术来进行搜索建模的论文：《使用点击数据学习深度

结构化的网络搜索语义模型》（Learningdeepstructuredsemanticmodelsforweb

searchusingclickthroughdata）。这篇论文阐述了一个深度结构化语义模型，发表在第22

届世界信息和知识管理大会CIKM2013上。

论文背景介绍

发表于2013年的这篇论文应该算是比较早的直接使用深度学习中经验的论文。其主要目的是

探索一些经典的深度学习方法能否在搜索的应用中得到合适的效果。

下面我们来了解一下这篇论文的作者群信息。

第一作者黄博森（Po-SenHuang）是一名来自台湾的学者。在发表论文的时候，他在伊利诺

伊大学香槟分校攻读电子工程和计算机博士学位，师从马克·约翰森（MarkHasegawa-

Johnson）。论文是黄博森在微软实习时的工作总结。2015年黄博森博士毕业，然后于

2016年加入了微软研究院。到目前为止，他发表了30多篇人工智能相关的论文，论文引用

次数已经超过1千多次。

其他作者均来自当时在微软研究院工作的学者。其中不乏著名学者，比如何晓冬（Xiaodong

He）、邓力（LiDeng）、亚历克斯·阿西罗（AlexAcero）和拉里·赫克（LarryHeck）等。

下面聊聊比较少被提及的阿西罗和赫克。阿西罗曾长期在微软研究院担任语音相关研究组的经

理职位，2013年之后，他到苹果公司担任Siri的资深总监。赫克曾经在雅虎担任搜索和广告

业务副总裁，然后到微软研究院担任语音组的首席科学家。文章发表之后，赫克到了谷歌，在

一个人工智能组担任总监，并于最近加入三星北美研究院担任资深副总裁。这些学者主要是为

这个工作提供支持和指导工作。

这篇论文自2013年发表后已经有超过390多次的引用，是深度学习在搜索领域应用中被引

用次数最多的论文之一。

深度结构化语义模型详解

下面详细讲讲这篇论文的核心思想。要想理解这篇论文提出的思路，我们首先要简单回顾一下

经典的搜索模型构建。

在经典的搜索模型里，不管是TF-IDF、BM25、语言模型，还是基于机器学习的排序算法模

型，整体来说，一个共通的想法就是争取用某种表示（Representation）来表达查询关键

字，然后用相同的、或者类似的表示来表达文档，再通过某种程度的匹配函数来计算查询关键

字表示和文档表示之间的距离，然后进行排序。

那么，从深度学习的角度来说，要想针对这个传统的模式进行革新，当然就可以从最主要的三

个方面入手：查询关键字的表达、文档的表达和匹配函数。

这篇文章也正是沿着这个思路，提出了深度结构化语义模型。

首先，深度结构化语义模型对查询关键字和文档进行了相似的处理。具体来说，就是先把查询

关键字或者文档转换为词向量（TermVector），这个词向量可以是最简单的“词袋”的表达

方式，这也就是最基本的模型的输入。从词向量出发，模型首先学习一个“词哈希”（Word

Hashing），也就是把0或1的稀疏词向量转换成为一个稠密（Dense）的向量表达。这一

步是把深度学习方法应用在自然语言处理中所通用的办法，目的就是把稀疏的输入转换为稠密

的输入，降低输入的数据维度。

当查询关键字和文档都转换成稠密数组以后，深度结构化语义模型利用了深度学习中的重要经

验，那就是通过“非线性转换”（Non-LinearProjection）来获取数据深层次的语义信息，

而不仅仅只是传统方法中字面上的匹配。这里，查询关键字和文档都使用了简单的“前馈神经