智能问答基础技术 - 北京大学计算机科学技术研究所.pdf

《互联网数据挖掘》本科生课程 智能问答基础技术 万小军 北京大学语言计算与互联网挖掘组 /lcwm 2016年11月15日 智能问答概述 2 问答的重要性  问答是人类获取知识的基本方式之一  《十万个为什么》  “师者，所以传道授业解惑也”  语言交流的重要目的  问答在日常语言交流中所占的比例较大  思考：互联网技术的普及是减少了人们日常生活 中的问题还是带来了更多问题？ 3 信息检索的局限性  只返回相关文档，无法提供精确答案  相关文档太多，需要用户逐一浏览  检索模型基于关键词匹配，忽略对问题的分析与 答案的寻找  对于复杂问题可能无法匹配到包含答案的文档  How much money did IBM spend on advertising in 2006? 4 信息检索的局限性  只返回相关文档，无法提供精确答案  相关文档太多，需要用户逐一浏览  检索模型基于关键词匹配，忽略对问题的分析与 答案的寻找  对于复杂问题可能无法匹配到包含答案的文档  How much money did IBM spend on advertising in 2006? 5 智能问答  起源于信息检索社区  QA: 根据用户的提问给出简短的答案，有时需要 提供答案的证据. Question 输入问题 Answering 输出答案 Q: “Where is Carnegie Mellon?” A: “Pittsburgh, Pennsylvania, USA” Q: “Who is Jared Cohon?” A: “... is the current President of Carnegie Mellon University?” Q: “When was Herbert Simon born?” A: “15 June 1916” 6 问题类型  根据答案类型划分  事实型问题(Factual questions): What is the larger city …  观点型问题(Opinions): What is the author attitude …  摘要型问题(Summaries): What are the arguments for and against…  根据问题言语行为(question speech act)划分:  是否型问题(Yes/NO questions): Is it true that …  WH问题(WH questions): Who was the first president …  间接请求(Indirect Requests): I would like you to list …  命令(Commands): Name all the presidents …  复杂/困难问题  为什么，怎么样(Why, How questions): 需要理解因果关系或工具性关系, how to build a house? 