基于无向图序列标注模型的中文分词词性标注一体化系统.pdfVIP

更多技术文章，论文请登录 第 32 卷第 3 期 电 子 与 信 息 学 报 Vol.32No.3 2010 年 3 月 Journal of Electronics Information Technology Mar.2010 基于无向图序列标注模型的中文分词词性标注一体化系统 朱聪慧 赵铁军 郑德权 - (教育部微软语言语音重点实验室哈尔滨工业大学 哈尔滨 150001) 摘 要：在中文词法分析中，分词是词性标注必须经历的阶段。为了能在分词阶段就充分利用词性标注的信息和减 少两阶段错误的累计，最好的方法是将两个阶段，整合到一个架构中。该文以无向图模型为基础，将分词和词性标 注有机地统一在一个序列标注模型中。由于可以采用更深层次的依赖关系作为特征，一体化系统在 1998 年人民日 报语料上取得了 97.19%的分词精确率和 95.34%的词性标注精确率，是目前同类系统，在这一语料上取得的最好结 果。 关键词：中文分词；词性标注；一体化系统；无向图模型 中图分类号：TP391 文献标识码： A 文章编号：1009-5896(2010)03-0700-05 DOI: 10.3724/SP.J.1146.2009.00214 Joint Chinese Word Segmentation and POS Tagging System with Undirected Graphical Models Zhu Cong-hui Zhao Tie-jun Zheng De-quan (Ministry of Education-Microsoft Key Laboratory of Natural Language Processing and Speech, Harbin Institute of Technology, Harbin 150001, China) Abstract: For Chinese Part-Of-Speech(POS) tagging, word segmentation is a preliminary step. To reduce accumulated errors between two steps and improve the segmentation performance by utilizing POS information, segmentation and POS tagging can be performed simultaneously. In this paper, a joint segmentation and POS tagging system is proposed based on undirected graphical models which can make full use of the dependencies between the two stages. In the joint system, segmenting and tagging are viewed as the sequence labeling; mo