基于多重索引模型的大规模词典近似匹配算法.pdfVIP

ISSN1000-0054 清华大学学报 (自然科学版)2005年第45卷 第 31/39 CN11-2223/N JTsinghuaUniv(SciTech)，2005,Vol.45 1873-1877 词汇与中心词的距离信息对问句相似度匹配的影响 闰宏飞， 陈 钟 (北京大学信息科学技术学院，北京100871) 摘 要:在问答式信息检索中引入基于frequentlyasked 问答式信息检索是一种允许用户以自然语言方 questions(FAQ)的辅助模块满足常见问题的回答是一种有 式提问，系统从文档集中查找并返回确切答案或者 效的手段，其中关键问题是用户提出的问句与FAQ中问句 蕴含答案文本片断的信息检索方式，使人们可以高 的相似度比较，找出FAQ中最相近的问句，并返回对应的答 速、准确地从互联网海量信息中获取所需要的查询 案，作为对用户问题的解答。该文设计实现了一种FAQ辅助 结果。这种提供准确、简洁的信息方式更接近于人的 模块，并试图发现词汇与中心词的距离信息对于问句相似度 思维和习惯，是搜索引擎的发展方向。Texretrieval 匹配的词汇权重的影响。使用两组不同的测试集进行评测， conference(TREC)I〕从1999年开始设立question 实验表明，采用词汇与中心词的距离信息计算问句相似度， andanswer(QA)评测项目，每年一次，提供统一的 其影响能力弱于文档频率的作用，但是在相似度阂值0.5的 测试集来评测各个问答式系统，推动问答式信息检 情况下，两种方法均没有错误判断。 索的发展。 关祖词:词汇权重;问句相似度匹配;问答式信息检索;距 随着Web的发展，问答式信息检索目前已经由 离信息 面向专业领域的系统发展到开放领域。一个间答式系 中图分类号:TP391.1 文献标识码:A 统通常包括3个模块:问题理解与转换，高速信息检 文章编号:1000-0054(2005)S1-1873-05 索，答案生成。这3个模块，其中第1和第3个涉及到 很多自然语言处理技术，第2个涉及到一个基于信息 Effectsofdistanceinformationbetween 检索技术的搜索引擎，3个部分的工作量都很大。由 theterm andthecentralterm onthe 问题找答案，比较难;由问题比对相似问题(如 similarquestionmatching frequentlyaskedquestions(FAQ)集合)比较容易，因 YANHongfei，CHENChong 此正确率比较高。鉴于此，借助Web上已经大量存在 (SchoolofElectronicsEngineeringandComputerScience, 或者从网页中提取信息形成的FAQ数据集，可以达