词汇和中心词的距离信息对问句相似度匹配的影响.pdfVIP

—ISSN10—00-0054清华大学学报(自然科学版)2005年第45卷第s1期 31／39 CN11—2223／NJ Univ(SciTech)，2005，V01．45，No．S1 1873—1877 Tsinghua 词汇与中心词的距离信息对问句相似度匹配的影响 闰宏飞， 陈种 (北京大学信息科学技术学院，北京100871) asked 摘要：在问答式信息检索中引入基于frequently 问答式信息检索是一种允许用户以自然语言方 questions(FAQ)的辅助模块满足常见问题的回答是一种有 式提问，系统从文档集中查找并返回确切答案或者 效的手段，其中关键问题是用户提出的问句与FAQ中问句 蕴含答案文本片断的信息检索方式，使人们可以高 的相似度比较，找出FAQ中最相近的问句，并返回对应的答 速、准确地从互联网海量信息中获取所需要的查询 案，作为对用户问题的解答。该文设计实现了一种FAQ辅助 结果。这种提供准确、简洁的信息方式更接近于人的 模块，并试图发现词汇与中心词的距离信息对于问句相似度 retrieval 思维和习惯，是搜索引擎的发展方向。Tex 匹配的词汇权重的影响。使用两组不同的测试集进行评测， 实验表明，采用词汇与中心词的距离信息计算问句相似度， and 其影响能力弱于文档频率的作用，但是在相似度阈值0．5的 测试集来评测各个问答式系统，推动问答式信息检 情况下，两种方法均没有错误判断。 索的发展。 关键词：词汇权重；问句相似度匹配；问答式信息检索}距 随着Web的发展，问答式信息检索目前已经由 离信息 面向专业领域的系统发展到开放领域。一个问答式系 中图分类号：TP391．1 文献标识码：A 统通常包括3个模块：问题理解与转换，高速信息检 文章编号：i000—0054(2005)Sl一1873—05 索，答案生成。这3个模块，其中第1和第3个涉及到 很多自然语言处理技术，第2个涉及到一个基于信息 Effectsofdistanceinformationbetween 检索技术的搜索引擎，3个部分的工作量都很大。由 thetermandthecentraltermonthe 问题找答案，比较难；由问题比对相似问题(如 similar questionmatching asked frequently YAN Hongfei，CHENChong 此正确率比较高。鉴于此，借助Web上已经大量存在 ofElectronics and 或者从网页中提取信息形成的F