基于上下文和义信的跨领域中文分词.pptVIP

基于上下文和语义信息的跨领域中文分词 报告人：张婧 导师：黄德根教授 学校：大连理工大学 研究领域：自然语言处理 主要内容 中文分词概况 中文分词的主要技术： 基于规则的方法 基于统计的方法 规则与统计相结合的方法 主要内容 中文分词的一大挑战 跨领域分词的一个显著特点是： 一个特定领域文章中的通用词和术语较多，这些领域性OOV是基于某个特定领域的，并且可能会在其所属领域的某一上下文内多次出现。 主要内容 本文主要方法 本文主要方法 ——模型及特征 本文主要方法 ——模型及特征 本文主要方法 ——模型及特征 本文主要方法 本文主要方法 ——上下文及语义信息 本文主要方法 ——上下文及语义信息 本文主要方法 本文主要方法 ——分词算法流程 跨领域分词的分词算法流程如下： 本文主要方法 ——分词算法流程 本文主要方法 ——分词算法流程 本文主要方法 ——分词算法流程 本文主要方法 本文主要方法 ——实验结果及总结 实验数据： 系统词典是从2000年1-6月份的人民日报中抽取出来的，词性体系为相应的北大词性体系，词典中共含有85,000个词。 本文采用的语义资源是同义词词林（扩展版），共包含77,343条词语。 SIGHAN 2010的跨领域简体中文训练和测试语料。 训练基于词图的CRFs模型时，所用的语料是有词性标注的评测语料（1998年1月份人民日报）。 本文主要方法 ——实验结果及总结 本文主要方法 ——实验结果及总结 该方法用基于字标注的CRFs模型得到3-Best路径，将路径中包含的所有候选词添加到词图中，充分利用篇章的上下文信息和同义词语义信息，在词的层面上从词图中选择代价最小的路径作为最终的分词结果。 该方法很好地发挥了基于字标注的方法在发现未登录词上的能力，而且在分词过程中充分利用词汇的领域性信息，提高了领域性分词的分词结果。 用Bakeoff 2010简体中文测试语料进行开式测试，结果表明：该方法在四个测试领域中的三个领域的F值和OOV的召回率好于2010参加评测的最好成绩。 本文获国家自然科学基金(NoNo资助。 主要内容 参考文献 [1] Xue Nianwen. Chinese word segmentation as character tagging. Computational Linguistics, 2003, 8(1): 29-48. [2] Lafferty J, McCallum A, Pereira F. probabilistic models for segmenting and labeling sequence data // Proceedings of ICML2001. Conditional Random Fields: San Francisco: Morgan Kaufmann, 2001: 282-289 [3] Tseng H, Chang Pichuan, Andrew G, et al. A conditional random ?eld word segmenter for SIGHAN bakeoff 2005 // Proc of the 4th SIGHAN Workshop on Chinese Language Processing. Jeju Island: ACL, 2005: 168–171 [4] Peng Fuchun, Feng Fangfang, McCallum A. Chinese segmentation and new word detection using conditional random ?elds // Proc of COLING 2004. San Francisco: Morgan Kaufmann, 2004: 562-568 [5] Low J K, Ng H T, Guo Wenyuan. A maximum entropy approach to Chinese word segmentation // Proc of the 4th SIGHAN Workshop on Chinese Language Processing. Jeju Island: ACL, 2005: 161–164 [6] Huang Degen, Tong Deqin