基于深度神经网络的检索相似问题.PDFVIP

基于深度神经网络的检索相似问题 模型 邢超（chao xing） 白子薇（ziwei bai ） 2016/12/27 CSLT, RIIT, Tsinghua Univ. 1． 背景 3 2． 相似问题匹配模型 4 3． 运行说明 6 3.1. 模型语料准备 6 3.2 训练与测试脚本 6 3.2.1 采样脚本 6 3.2.2 自动训练脚本 6 3.2.3 自动测试脚本 6 3.2.4 备注 7 3.3 核心程序接口说明 7 4． 实验 9 4.1. 词向量准备 9 4.2. 参数设置 9 4.3. 实验结果 9 5． 参考文献 11 1． 背景 随着网络大数据挖掘技术以及云计算技术逐渐成熟，深度神经网络在一些自然语言理解 任务中展现出远超传统方法的效果以及计算速度。其中，由微软亚洲研究院出的 DSSM （Deep Structured Semantic Model）模型在信息检索 （IR, Information Retrieval）中 被验证有着较高的性能。DSSM 模型的基本思路是将一个检错语句通过深度神经网络抽象成 一个固定维度的向量表征，基于搜索与点击 （Search-Click）关系构造分类模型，该模型试 图将搜索语句与点击页面的标题在语义层面彼此靠近。 微软在 2012 年至 2014 年间，连续出了多个 DSSM 模型，由不同的网络结构分为：DSSM （DNN based），CDSSM （CNN based），RDSSM （RNN based），LDSSM （LSTM based）等。其中， 综合考虑计算时间以及在线策略，本文档主要介绍 CDSSM，旨在节约计算资源的前下，保 证最大性能。 CNN 应用于自然语言理解任务早在 2012 年就有研究人员出，并且在文本分类、句子 分类以及信息检索中得到了显著的成功。一个典型的 CNN 在语言理解任务中的应用 如图一 所示。 图一 CNN 取文本信息图 CNN 能够捕获句子中不同位置的信息，并且这些信息抽象出来，用以获得较好的句子向 量表征。微软出的 CDSSM 模型，主要的贡献是： 1、出了 Tri-Letter 的方法，试图解决 OOV 的问题 2、使用 CNN 抽象搜索语句表达，并且与另一个页面 CNN 抽象模型进行 Softmax 分类， 优化不同的搜索 Query 对应点击页面的分类准确率。 CDSSM 模型图如图二所示： 图二 CDSSM 模型图 2． 相似问题匹配模型 由于上述模型在微软Bing 搜索引擎中的成功实践，我们出了一种基于 CDSSM 模 型的相似问题匹配模型，本模型针对智能问答系统中模板匹配的痛点，使用 CDSSM 模型 的基本思想，将模板问题与标准问题进行分组，优化目标试图使得组内问题的相似度大， 而不同组之间的问题相似度小。模型目标是在基于已有的标注模板进行训练，使得系统 可以识别出大部分类似标注问题的问题从而减轻标注人员的工作量。本模型与微软出 的 CDSSM 模型基本一致，但汉语和英语具有差异性，汉语无法使用 letter tri-