网站大量收购独家精品文档,联系QQ:2885784924

055-基于深度学习的搜索算法:深度结构化语义模型【萌萌家】.pdf

055-基于深度学习的搜索算法:深度结构化语义模型【萌萌家】.pdf

  1. 1、本文档共6页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

055|基于深度学习的搜索算法:深度结构化语义模型

2018-01-08洪亮劼来自北京

《AI技术内参》

近两个月,我们集中系统地分享了搜索核心技术模块。做一个简单的内容梳理,我们讲解了搜

索引擎方方面面的话题,从经典的信息检索技术、查询关键字理解、文档理解到现代搜索引擎

的架构和索引的核心技术;还从机器学习角度出发分享了搜索引擎的最核心部分,也就是排序

算法,深入排序算法的细节讲解了排序支持向量机(RankSVM)、梯度增强决策树

(GBDT)以及经典模型LambdaMART。至此,整个人工智能领域关于搜索的经典话题也就

告一段落了。

那么,这个星期,我们来看一些关于搜索算法的前沿思考。火热的深度学习不仅对图像、视频

和音频这些领域产生了巨大的冲击,也对自然语言处理、甚至搜索领域有不小的影响。深度学

习带给传统的模型和算法以新的建模能力和新的视角,为以前所不能完成的应用打下了基础。

今天,我们来看一篇较早利用深度学习技术来进行搜索建模的论文:《使用点击数据学习深度

结构化的网络搜索语义模型》(Learningdeepstructuredsemanticmodelsforweb

searchusingclickthroughdata)。这篇论文阐述了一个深度结构化语义模型,发表在第22

届世界信息和知识管理大会CIKM2013上。

论文背景介绍

发表于2013年的这篇论文应该算是比较早的直接使用深度学习中经验的论文。其主要目的是

探索一些经典的深度学习方法能否在搜索的应用中得到合适的效果。

下面我们来了解一下这篇论文的作者群信息。

第一作者黄博森(Po-SenHuang)是一名来自台湾的学者。在发表论文的时候,他在伊利诺

伊大学香槟分校攻读电子工程和计算机博士学位,师从马克·约翰森(MarkHasegawa-

Johnson)。论文是黄博森在微软实习时的工作总结。2015年黄博森博士毕业,然后于

2016年加入了微软研究院。到目前为止,他发表了30多篇人工智能相关的论文,论文引用

次数已经超过1千多次。

其他作者均来自当时在微软研究院工作的学者。其中不乏著名学者,比如何晓冬(Xiaodong

He)、邓力(LiDeng)、亚历克斯·阿西罗(AlexAcero)和拉里·赫克(LarryHeck)等。

下面聊聊比较少被提及的阿西罗和赫克。阿西罗曾长期在微软研究院担任语音相关研究组的经

理职位,2013年之后,他到苹果公司担任Siri的资深总监。赫克曾经在雅虎担任搜索和广告

业务副总裁,然后到微软研究院担任语音组的首席科学家。文章发表之后,赫克到了谷歌,在

一个人工智能组担任总监,并于最近加入三星北美研究院担任资深副总裁。这些学者主要是为

这个工作提供支持和指导工作。

这篇论文自2013年发表后已经有超过390多次的引用,是深度学习在搜索领域应用中被引

用次数最多的论文之一。

深度结构化语义模型详解

下面详细讲讲这篇论文的核心思想。要想理解这篇论文提出的思路,我们首先要简单回顾一下

经典的搜索模型构建。

在经典的搜索模型里,不管是TF-IDF、BM25、语言模型,还是基于机器学习的排序算法模

型,整体来说,一个共通的想法就是争取用某种表示(Representation)来表达查询关键

字,然后用相同的、或者类似的表示来表达文档,再通过某种程度的匹配函数来计算查询关键

字表示和文档表示之间的距离,然后进行排序。

那么,从深度学习的角度来说,要想针对这个传统的模式进行革新,当然就可以从最主要的三

个方面入手:查询关键字的表达、文档的表达和匹配函数。

这篇文章也正是沿着这个思路,提出了深度结构化语义模型。

首先,深度结构化语义模型对查询关键字和文档进行了相似的处理。具体来说,就是先把查询

关键字或者文档转换为词向量(TermVector),这个词向量可以是最简单的“词袋”的表达

方式,这也就是最基本的模型的输入。从词向量出发,模型首先学习一个“词哈希”(Word

Hashing),也就是把0或1的稀疏词向量转换成为一个稠密(Dense)的向量表达。这一

步是把深度学习方法应用在自然语言处理中所通用的办法,目的就是把稀疏的输入转换为稠密

的输入,降低输入的数据维度。

当查询关键字和文档都转换成稠密数组以后,深度结构化语义模型利用了深度学习中的重要经

验,那就是通过“非线性转换”(Non-LinearProjection)来获取数据深层次的语义信息,

而不仅仅只是传统方法中字面上的匹配。这里,查询关键字和文档都使用了简单的“前馈神经

文档评论(0)

133****9720 + 关注
实名认证
内容提供者

物业管理师证持证人

该用户很懒,什么也没介绍

领域认证该用户于2023年04月23日上传了物业管理师证

1亿VIP精品文档

相关文档