基于字位置概率特征的条件随机场中文分词方法-苏州大学自然语言.pdfVIP

第24卷第3期 苏州大学学报(自然科学版) VoL24No．3 OFSUzH0u SCIENCEEDITl0N) Jul．2008 2008年7月． JOURNAL UNIVERS兀-Y(NATURAL 基于字位置概率特征的条件随机场中文分词方法 沈勤中，周国栋，朱巧明，孔 芳，丁金涛 (1．苏州大学计算机科学与技术学院，江苏苏州215006； 2．江苏省计算机信息处理技术重点实验室，江苏苏州215006) 摘要：将分词看成是一个对汉字进行分类的过程，然后利用条件随机场(cRFs)模型对每个汉字进行标记， 最后转换为相应的分词结果．在现有cRFs模型的基础上，从字的构词能力角度出发，探索了字位置概率特征， 提出了基于字位置概率特征的条件随机场中文分词方法．实验表明，字位置概率特征的引入，使得结果Fl值 提高了3．5％，达到94．5％． 关键词：中文分词；条件随机场；字位置概率特征 中图分类号：TP391 文献标识码：A 文章编号：1000—2073(2008)03—0049—06 O 引 言 词是自然语言中最小的有意义的构成单位，但词与词之间并没有明显的界限，因此，分词是自然语言处理 的首要工作． 20世纪80年代至今，研究人员提出了许多分词方法．根据它们使用的知识资源的不同，分词方法可分为 基于规则的方法和基于统计的方法两大类．其中，基于规则的方法一般都需要人工事先建立好分词词典和分 词规则库，这类方法主要是基于字符串匹配的原理进行分词，涉及的方法主要包括正向最大匹配法¨。、逆向 最大匹配法、双向匹配法心3等．在未登录词(OOV)比较多的情况下，基于规则的方法很难达到较好的分词结 果．基于统计的方法则首先需要为解决的语言处理问题建立统计模型，使用训练语料库来估算统计模型中的 参数．基于统计的分词方法中所使用的统计量以及统计模型主要包括互信息、隐马可夫模型(HMM)p。。和最 大熵模型(ME)陋。71等．统计模型具有鲁棒性和概括性，在有错误的数据和新数据中仍然能取得较好的性能， 因此，近年来基于统计的分词方法成为了分词研究的主流． 目前，中文分词比较流行的方法就是把分词过程看作为每个汉字进行分类的过程，通过对句子中每个汉 N 字进行标记来切分．如xuew[81根据汉字在词语中出现的不同位置将汉字分为4类，然后利用最大熵模型 FC等[93建立了一个基于CRFs的汉字标注分词模型，除了一些常见的特征外，还 标记的方法进行切分；Peng 使用了许多领域知识． 本文建立了一个基于cRF的分词标记模型，与文[9]不同的是，本文使用了不同的特征，取得了较好的 效果． 1 条件随机场(CRF) 1．1条件随机场模型 Random 条件随机场(conditional 义了整个标签序列的联合概率，各状态是非独立的，彼此之间可以交互，因此可以更好地模拟现实世界的 数据． ·收稿日期：2008—03—10 作者简介：沈勤中(1982一)，男，江苏宜兴人，硕士研究生，主要研究方向为中文信息处理． 万方数据 苏州大学学报(自然科学版) 第24卷 cRFs是无向图模型的一种形式，它采用了链式无向图结构计算给定观察值条件下输出状态的条件概率． 在给定观察序列的情况下，标记序列的条件概率为 ’ p(，，I菇)=赤exp(∑A，o()，川，，，∥，i)+；¨‘(，，∥，∽ 其中，t，(，，H，，，；，名，i)为状态转移特征函数，s。()，；，髫，i)为状态特征函数，A『、u。是由训练样本得到的特征函 数权重，z(戈)为归一化因子． cRFs采用极大似然估计方法来确定特征函数权重，对参数向量求导，导数为0的点即为似然函数的最大 值点．故对Ai求导，则偏导数公式为