- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
057|基于深度学习的搜索算法:局部和分布表征下的搜索模型
2018-01-12洪亮劼来自北京
《AI技术内参》
周一我们分享了一篇较早利用深度学习技术来进行搜索建模的论文,利用前馈神经网络来对查
询关键字和文档进行信息提取,从而学习到更有意义的语义信息。周三我们分享了另外一篇论
文,可以说是周一分享文章的一个后续工作,探讨了如何利用卷积神经网络来对搜索表征进行
进一步提升。这两篇论文呈现了一个统一的套路,那就是尝试把深度学习的一些经验直接应用
到传统的搜索建模上。这些尝试,也都取得了一些初步成绩。
今天我们来聊一篇2017年刚刚发表的论文《网页搜索中利用文本的局部和分布表征学习匹
配》(LearningtoMatchUsingLocalandDistributedRepresentationsofTextforWeb
Search),这是近期将深度学习模型应用在搜索领域的一个创新。这篇论文发表在世界万维
网大会WWW2017上。
论文背景介绍
下面我们来了解一下这篇论文的作者群信息。
第一作者巴斯卡⋅米特拉(BhaskarMitra)是微软研究院在剑桥实验室的一名研究员。他已经
发表了多篇利用深度学习技术解决搜索问题的论文。目前,米特拉在伦敦大学学院攻读博士学
位。
第二作者是费尔南多⋅迪亚兹(FernandoDiaz)在文章发表的时候是微软研究院的一名研究
员,目前则在Spotify工作。迪亚兹长期从事搜索以及信息检索的工作,发表多篇论文,文章
总引用数超过三千次。加入微软之前,他曾经在雅虎研究院从事过研究工作。
文章的第三作者尼克⋅克拉维尔(NickCraswell)在微软研究院工作,目前是主任级研发经
理,长期从事搜索和信息检索的研究,发表多篇论文,文章总引用数达8千多次。
局部和分布表征下的搜索模型详解
我们详细讲讲这篇论文的核心思想。要想理解这篇论文提出的思路,我们首先要简单回顾一下
这周讲的前两篇文章内容。
本周第一篇介绍的深度结构化语义模型主要是希望利用前馈神经网络来对查询关键字和文档进
行信息提取。第二篇文章尝试用卷积神经网络来提取查询关键字和文档的信息。
不论是前馈网络,还是卷积网络,这些尝试都是想从文本中提取高层次的语义信息。那么今
天这篇文章说得是,并不是所有的相关信息都是高层次的语义信息。这是什么意思呢?
作者们提出了这样一个观点,那就是在搜索的时候,一个非常关键的需求就是被搜索到的文档
应该包含查询关键字;或者反过来说,拥有查询关键字的文档有很大可能是相关的。也就是
说,如果一个模型不能去进行绝对的关键字匹配,那很有可能就无法真正抓住所有的相关信
息。
另一方面,相关信息的提取也需要高层次的语义,比如同义词,或者同一个主题。设想我们需
要查找汽车相关的信息,而一个最新品牌的汽车页面也许并不直接包含“汽车”关键字,但很
明显是一个相关的页面。因此,利用同义词或者整个主题的相关性,通常可以提高搜索效果,
特别是“召回”(Recall)的效果。
那么,很显然,一个好的搜索模型应该兼顾这两个方面,也就是说既能够做到关键字的直接匹
配,也能做到在高层次的语义上进行模糊匹配。
之前讲到的比如利用前馈网络或者卷积网络主要是针对后者,也就是模糊匹配,文章中提到叫
做“分布表征”的匹配。那么,这篇文章的新意就是提出一种捕捉直接匹配的方式,文章叫做
“局部表征”,并且和模糊匹配的分布表征结合在一起,形成一个统一的模型,从而提高搜索
的效果。
具体来说,文章提出的模型是这样的。首先,从整体的网络框架来说,整个网络分成两个部
分:一部分来学习查询关键字和文档的局部表征,也就是完全匹配;另一部分来学习查询关键
字和文档的分布表征,也就是模糊匹配。最后,两个部分分别学习出一个向量,然后两个向量
加和就形成了最后的表征。
完全匹配的局部表征技巧来自于数据的输入。和之前介绍的模型不同,因为我们需要学习查询
关键字和文档之间的匹配信息,因此,网络的输入信息就不单单是查询关键字和文档本身,而
是两者的一个“点积”(Dot-Product),也就是说,网络的输入信息就是两者是否有匹配。
把这个信息作为输入向量之后,这篇文章采用了我们分享过的卷积神经网络的结构,来进一步
提取点积过后的输入向量。
在模糊匹配的分布表征部分,整体的框架和上次分享的模型很类似,也就是对查询关键字和文
档分别进行建模,分别利用卷积神经网络提取高层次的语义信息。然后在高层次的语义信息上
再进行查询关键字和文档表征的乘积(这里是矩阵相对应元素相乘)。最后,在经过基层的隐
含转换(其实就是前馈网络
您可能关注的文档
- 出口商品技术指南-木制品(1).pdf
- 002-精读2017年KDD最佳研究论文【萌萌家】(1).pdf
- 003-精读2017年KDD最佳应用数据科学论文【萌萌家】.pdf
- 007-精读2017年ICCV最佳研究论文【萌萌家】.pdf
- 013-WSDM2018论文精读:看谷歌团队如何做位置偏差估计【萌萌家】.pdf
- 014-WSDM2018论文精读:看京东团队如何挖掘商品的替代信息和互补信息【萌萌家】.pdf
- 019-SIGIR2018论文精读:偏差和“流行度”之间的关系【萌萌家】.pdf
- 025-ICML2018论文精读:模型经得起对抗样本的攻击?这或许只是个错觉【萌萌家】.pdf
- 026-ICML2018论文精读:聊一聊机器学习算法的“公平性”问题【萌萌家】.pdf
- 027-ICML2018论文精读:优化目标函数的时候,有可能放大了“不公平”?【萌萌家】.pdf
最近下载
- 前列腺癌TNM分期(AJCC第8版).doc VIP
- 2023年甘肃省兰州市中考语文试卷(含答案解析).docx
- 高中生物选择性必修2(综合检测卷)(附答案)—2022-2023学年高二下学期生物选择性必修2.pdf VIP
- 高中生物选择性必修二综合复习练习卷含答案 .pdf VIP
- 企业培训行业在线学习平台搭建与管理方案.doc VIP
- 2023年四川省成都市中考数学试卷真题(含答案).pdf
- 高中生物选择性必修2(综合测试)(附答案)—2022-2023学年高二下学期生物完整版7209607.pdf VIP
- 高中生物选择性必修2(综合检测)(附答案)—2022-2023学年高二下学期生物选择性必修2.docx VIP
- 护理质量管理制.pptx VIP
- 林下经济可行性研究报告.docx
文档评论(0)