用于句子对建模的句子交互网络.PDFVIP

用于句子对建模的句子交互网络 黄民烈：清华大学计算机系副教授。研究兴趣在自然语言处理，人工智能系统， 机器学习方法与应用。在CCF A/B 类国际主流会议和期刊发表论文超过40 篇（包 括IJCAI 、AAAI 、ACL 、EMNLP 等），SCI 索引论文20 多篇，获得NLPCC2015 最佳论文奖。多次承担国家自然科学基金项目和科技支撑计划项目、973 与863 子课题，多次与国内外企业如谷歌、美孚石油、微软、三星、惠普、腾讯、阿里 巴巴等开展合作项目。多次作为领域主席（ACL 2016 ，EMNLP 2014 ，EMNLP 2011 ） 或本地主席参与组织国际主流会议。担任国际主流会议IJCAI 、AAAI 、ACL 、 EMNLP 、COLING 等程序委员会委员，国际顶级期刊TPAMI 、TKDE 、TOIS 等 审稿人。 摘要：句子表示是自然语言处理中一个非常重要的问题，而句子对的表示建模则 还较少有工作涉及。清华大学计算机系黄民烈老师的工作，提出了基于“交互思 想”的句子对表示模型，即两个句子中的各个位置上，信息需要互相流动，互相 影响各自的表示，以便更好地建模句子之间依赖和关联关系。在答案选择和对话 意图分类两个任务中，该模型均获得了较好的性能。 在很多的文本分析任务中，上下文的建模能力对于任务的性能至关重要，比 如为了分析对话中语句的语义，我们需要考虑整段对话的语义环境；在阅读理解 中，我们需要合理地对整个文档建模，才能为某个问题选择合适的回答。我们在 ACL2016 发表论文 《A Sentence Interaction Network for Modeling Dependence between Sentences》，提出了一种基于交互思想的神经网络模型。论文提出了一 种新的神经网络模型以建模句子之间的关系，从而更充分地考虑上下文语义，提 高相关任务的性能。我们将该模型应用到了答案选择 （Answer Selection ）和对话 意图分析（Dialogue Act Analysis ）两个任务中，取得了显著的性能提升。 图1：Sentence Interaction Network (SIN) 该模型（SIN）从句子对 （Sentence Pair ）建模着手来解决复杂的上下文建模 问题。给定两个句子S 和S ，比如一个问题(what do cats look like?)和一个回答 1 2 (Cats have large eyes and furry body.) ，我们需要判断该问题是否被正确的回答了， 此时即需要考虑两个句子之间的语义相关性。SIN 首先用LSTM 分别对两个句子 进行建模，得到句子中词的表示。然后用这些词的表示来计算两个句子之间的交 互状态，这些交互状态携带了词与词 （或短语与短语）之间的语义关系，比如是 否语义相近，是否能够回答等。具体地，例如在学习S1 中的某个位置的表示时， S2 的所有位置的词的隐状态变量都会通过计算一个交互状态（interaction state ） (i) (i) 流入到对应位置中。例如图1 中，S1 的t 位置，会接收到 作为输入，而这个 则来自S2 的所有位置的隐状态作为输入。通过这种方式，实际上我们可以得到 两个句子所有位置的互相依赖和影响。 当将这些交互状态引入到句子建模中之后，我们便得到了含有上下文信息的 句子表示。用这样的句子表示即可很好的判断这两个句子的语义相关性。 图2 ：对话分析中上下文的建模，采用层次化网络进行句子序列之间的建模 SIN 模型可以建模句子对之间的语义关联性，但对更长的上下文依赖关系来 说，我们需要加入其它机制来获取更多的上下文信息。比如在对话意图分析中， 我们需要判断对话中某句话的意图，即它是否表达了一定的观点，是否在表示疑 问等。我们先用SIN 建模对话中前一句话的影响，然后用LSTM 来建模对话中 之前的语句对当前语义的影响，以更加精确的对当前的语句进行分析。 为了分析SIN 模型的工作机制，我们将其中交互状态的模长线性映射到了 [0,