条件随机域模型及在语言分析系统中的应用.pdfVIP

第12卷 第1期 电 机 与 控 制 学 报 Vo1．12 No．1 2008年1月 ELECTRIC MACHINES AND CONTROL Jan．20o8 条件随机域模型及在语言分析系统中的应用 孙广路 ， 王晓龙 ， 郎非 ， 刘远超 (1．哈尔滨工业大学计算机科学与技术学院智能技术与自然语言处理研究室，黑龙江哈尔滨 150001； 2．哈尔滨理工大学公共外语教学部，黑龙江 哈尔滨 150080) 摘 要：分析了判别式模型的标记偏置问题对序列化标记的影响，利用条件随机域模型的全序列 概率归一思想解决标记偏置问题。在条件随机域模型和特征选择的基础上，将语言分析任务转化 成序列化标记问题进行求解，建立了由分词、词性标注和组块分析组成的语言分析系统。实验表 明，条件随机域模型有效地克服了标记偏置问题，在语言分析系统中取得的性能优于其他判别式模 型。 关键词：条件随机域；语言分析；标记偏置；判别式模型 中图分类号：TP391 文献标识码：A 文章编号：1007—449X(2008)O1一O113一o4 Conditional random fields and its application to language analysis system SUN Guang．1u ， WANG Xiao．1ong’ LANG Fei ， LIU Yuan．chao ， (1．Intelligent Technology＆Natural Language Processing Laboratory，School of Computer Science and Technology， Harbin Institute of Technology，Harbin 150001，China；2．Department of Foreign Languages Teaching， Harbin Science and Technology，Harbin 150080，China) Abstract：Label bias problem of discriminative models has negative effects on sequential labeling．Condi— tional random fields were proposed to solve label bias problem based on the normalization of the sequential probability．Through the transformation from language analysis to sequential labeling，the language analy— sis system，including segmentation，part—of-speech tagging and chunking，was built based on conditional random fields and feature selection．Experimental results show that conditional random fields outperform other discriminative models in the language analysis system and overcome label bias problem． Key words：conditional random fields；language analysis；label bias；discriminative model 科夫模型)。相对于产生式模型，判别式模型直接 1 引 言