词性标注对信息检索系统性能的影响.pptVIP

TREC简介及英语词性标注对信息检索系统性能的影响 2004-12-14 研究背景 TREC 基础知识 VSM 英文词性标注 实验 经验 研究背景 TREC2004 ROBUST任务 信息检索的义项矩阵模型研究 TREC The Text REtrieval Conference the National Institute of Standards and Technology (NIST) and U.S. Department of Defense TRACKS DATA SET 评测 SMART11 TRACKS Cross-Language Track Filtering Track Genomics Track HARD Track Interactive Track Novelty Track Question Answering Track Robust Retrieval Track Terabyte Track Video Track Web Track DATA SET 由ＴＲＡＣＫＳ决定 Ｄｏｃｕｍｅｎｔ ＴＯＰＩＣ Ｔｉｔｌｅ Ｄｅｓｒｉｐｔｉｏｎ Ｎａｒｒａｔｉｖｅ TREC评测 Ｐｏｏｌｉｎｇ AP RP P-R graph Ｔｒｅｃ＿ｅｖａｌ ＳＭＡＲＴ （1）首先对文档集中的每个文档依据设定的加权方式表示成向量，并存入文档向量文件； （2）根据向量文件建立倒排索引文件； （3）对Topic集中每个Topic依据设定的加权方式表示成向量形式，并存入Topic向量文件； （4）对特定Topic计算其与每个文档的相关度，提交与该Topic最相关的前1000篇文档。 VSM 文档的表示：将Di表示为由t维索引项组成的向量，其中dij表示第j个索引项在文档Di中的权重，t由整个文档集决定 Di=(di1,di2,…dit) 索引项的选取 索引项权重计算 向量之间的相似度 VSM（续一） SMART检索系统 索引项 权重计算 tf idf 文档长度归一因子 VSM的缺陷 引入NLP技术 VSM（续二） l ; lntf +1.0 t : ln(N/n) N是collection中的document总数 n是包含给定term的doc数 a＝0.5 + 0.5*tf / maxtf 词性标注技术 词性标注是NLP中重要而成熟的技术 实现部分词义消歧 I can do it can of soda 不同词性的词在索引中有不同作用 词性标注具有改进检索性能的潜力 英文词性标注集 宾州树库标注集 基于Brown语料库（87个标记）的标注集 含36个词性标记和12个其它标记 为了句法分析的目的而构建 精简的词性标注集 将相同语义不同句法形式的词类进行合并 排除功能词，如CC、DT等 实验方案 索引方案 pain pos-48 pos-7 pos-v-n pos-v-n-j 索引项权重表示 nnn-nnn atc-atc lnc-ltc 实验设置 数据集 TREC-7和TREC-8 ad hoc任务的数据集。 100个Topic。文档集规模约为1,904MB，包含文档数约528,000篇 SMART检索系统 Brill的词性标注器及数据预处理 词性标注 Brill词性标注系统 基于转换的错误驱动的学习 正确率97.2% （WSJ语料库） 问题——断句 根据句尾标志断句，如“ . : ; ! ?” 断句准确优先 对“.”的处理 特殊词处理 实验结果－ｎｎｎ aｔｃ－ａｔｃ Lnc-ltc 发现规律： 不同的词性标注集在TREC-7和TREC-8数据集上的检索性能有相似的总体规律； 在nnn-nnn权重下，标注越细，检索效果越好（pos-48最好，plain最差）； 在atc-atc和lnc-ltc权重下，标注越细，检索效果越差（pos-48最差，plain最好）； 100个Topic采用不同索引方案时的AP 其它略 Topic429 title Legionnairesn/NNP disease/NN desc Identify/VB outbreaks/NNS of/IN Legionnairesd/NNP disease/NN ./. narr To/TO be/VB relevant/JJ ,/, a/DT document/NN must/MD discuss/VB a/DT specific/JJ outbreak/NN of/IN Legionnaire