- 1、本文档共6页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
055|基于深度学习的搜索算法:深度结构化语义模型
2018-01-08洪亮劼来自北京
《AI技术内参》
近两个月,我们集中系统地分享了搜索核心技术模块。做一个简单的内容梳理,我们讲解了搜
索引擎方方面面的话题,从经典的信息检索技术、查询关键字理解、文档理解到现代搜索引擎
的架构和索引的核心技术;还从机器学习角度出发分享了搜索引擎的最核心部分,也就是排序
算法,深入排序算法的细节讲解了排序支持向量机(RankSVM)、梯度增强决策树
(GBDT)以及经典模型LambdaMART。至此,整个人工智能领域关于搜索的经典话题也就
告一段落了。
那么,这个星期,我们来看一些关于搜索算法的前沿思考。火热的深度学习不仅对图像、视频
和音频这些领域产生了巨大的冲击,也对自然语言处理、甚至搜索领域有不小的影响。深度学
习带给传统的模型和算法以新的建模能力和新的视角,为以前所不能完成的应用打下了基础。
今天,我们来看一篇较早利用深度学习技术来进行搜索建模的论文:《使用点击数据学习深度
结构化的网络搜索语义模型》(Learningdeepstructuredsemanticmodelsforweb
searchusingclickthroughdata)。这篇论文阐述了一个深度结构化语义模型,发表在第22
届世界信息和知识管理大会CIKM2013上。
论文背景介绍
发表于2013年的这篇论文应该算是比较早的直接使用深度学习中经验的论文。其主要目的是
探索一些经典的深度学习方法能否在搜索的应用中得到合适的效果。
下面我们来了解一下这篇论文的作者群信息。
第一作者黄博森(Po-SenHuang)是一名来自台湾的学者。在发表论文的时候,他在伊利诺
伊大学香槟分校攻读电子工程和计算机博士学位,师从马克·约翰森(MarkHasegawa-
Johnson)。论文是黄博森在微软实习时的工作总结。2015年黄博森博士毕业,然后于
2016年加入了微软研究院。到目前为止,他发表了30多篇人工智能相关的论文,论文引用
次数已经超过1千多次。
其他作者均来自当时在微软研究院工作的学者。其中不乏著名学者,比如何晓冬(Xiaodong
He)、邓力(LiDeng)、亚历克斯·阿西罗(AlexAcero)和拉里·赫克(LarryHeck)等。
下面聊聊比较少被提及的阿西罗和赫克。阿西罗曾长期在微软研究院担任语音相关研究组的经
理职位,2013年之后,他到苹果公司担任Siri的资深总监。赫克曾经在雅虎担任搜索和广告
业务副总裁,然后到微软研究院担任语音组的首席科学家。文章发表之后,赫克到了谷歌,在
一个人工智能组担任总监,并于最近加入三星北美研究院担任资深副总裁。这些学者主要是为
这个工作提供支持和指导工作。
这篇论文自2013年发表后已经有超过390多次的引用,是深度学习在搜索领域应用中被引
用次数最多的论文之一。
深度结构化语义模型详解
下面详细讲讲这篇论文的核心思想。要想理解这篇论文提出的思路,我们首先要简单回顾一下
经典的搜索模型构建。
在经典的搜索模型里,不管是TF-IDF、BM25、语言模型,还是基于机器学习的排序算法模
型,整体来说,一个共通的想法就是争取用某种表示(Representation)来表达查询关键
字,然后用相同的、或者类似的表示来表达文档,再通过某种程度的匹配函数来计算查询关键
字表示和文档表示之间的距离,然后进行排序。
那么,从深度学习的角度来说,要想针对这个传统的模式进行革新,当然就可以从最主要的三
个方面入手:查询关键字的表达、文档的表达和匹配函数。
这篇文章也正是沿着这个思路,提出了深度结构化语义模型。
首先,深度结构化语义模型对查询关键字和文档进行了相似的处理。具体来说,就是先把查询
关键字或者文档转换为词向量(TermVector),这个词向量可以是最简单的“词袋”的表达
方式,这也就是最基本的模型的输入。从词向量出发,模型首先学习一个“词哈希”(Word
Hashing),也就是把0或1的稀疏词向量转换成为一个稠密(Dense)的向量表达。这一
步是把深度学习方法应用在自然语言处理中所通用的办法,目的就是把稀疏的输入转换为稠密
的输入,降低输入的数据维度。
当查询关键字和文档都转换成稠密数组以后,深度结构化语义模型利用了深度学习中的重要经
验,那就是通过“非线性转换”(Non-LinearProjection)来获取数据深层次的语义信息,
而不仅仅只是传统方法中字面上的匹配。这里,查询关键字和文档都使用了简单的“前馈神经
您可能关注的文档
- 出口商品技术指南-木制品(1).pdf
- 002-精读2017年KDD最佳研究论文【萌萌家】(1).pdf
- 003-精读2017年KDD最佳应用数据科学论文【萌萌家】.pdf
- 007-精读2017年ICCV最佳研究论文【萌萌家】.pdf
- 013-WSDM2018论文精读:看谷歌团队如何做位置偏差估计【萌萌家】.pdf
- 014-WSDM2018论文精读:看京东团队如何挖掘商品的替代信息和互补信息【萌萌家】.pdf
- 019-SIGIR2018论文精读:偏差和“流行度”之间的关系【萌萌家】.pdf
- 025-ICML2018论文精读:模型经得起对抗样本的攻击?这或许只是个错觉【萌萌家】.pdf
- 026-ICML2018论文精读:聊一聊机器学习算法的“公平性”问题【萌萌家】.pdf
- 027-ICML2018论文精读:优化目标函数的时候,有可能放大了“不公平”?【萌萌家】.pdf
最近下载
- 2025版高考英语一轮总复习语境助记选择性必修第三册Unit4AdversityandCourage.doc VIP
- 【推荐】(完整word版)骨伤科常见病及优势病种中医诊疗方案.docx VIP
- 土方开挖与基坑支护及降水工程施工方案.pdf VIP
- 空调维修方案简述.docx
- GNSS 导航器GP-170中文操作说明书.pdf
- 凯恩帝k1tbiii数控系统说明书.docx
- 2025版高考英语一轮总复习选择性必修第三册Unit4AdversityandCourage课件.pptx VIP
- 矿山事故应急救援演练方案.pdf VIP
- 相交线与平行线40道压轴题型专项训练(8大题型)原卷版—2024-2025学年人教版七年级数学下册.pdf VIP
- 骨伤科常见病及优势病种中医诊疗方案文献.docx VIP
文档评论(0)