基于条件随机场的中文分词方法_迟呈英.pdfVIP

J o u r n al of Inf o r m a t i o n N o . 5 ,2008 情报杂志 2008 年第 5 期 　 　　　 　　　　　　　　　 基于条件随机场的中文分词方法 A Chinese Word Segmentation Approach Using Conditional Random Fiel ds 迟呈英 　于长远 　战学刚 (辽宁科技大学 　鞍山　11405 1) ( ) 摘 　要 　提出了一种基于条件随机场 Conditional Random Fields ,简称 CRF 的中文分词方法 。CRF 模型利用词的上 下文信息 ,对歧义词和未登陆词进行分词统计处理取得了理想的效果 。以 SI GHAN2006 Chinese Lan guage Processing Bakeoff 提供的数据作为实验数据 。实验数据表明 ,基于 CRF 的中文分词方法取得了很好的效果 ,在 Upp en ,Msra 两 种语料的封闭测试中准确率分别达到了 95 . 8 %和 95 . 9 % 。 关键词 　条件随机场 　中文分词 　歧义词 　未登陆词 　　中文分词是自然语言理解中很重要的内容之一 ,也是当 在链式 CRF 中 ,无向图中的所有标记结点形成一个链 。在一 前智能信息处理技术的基础 。分词的效果将影响到后续分析 阶链式条件随机场中 , 全连通子图集合就是所有的含有当前 的难易程度 ,如句法分析 、语义分析等 。现阶段人们提出了许 标记 y i 、前一个标记 y i - 1 和包含观测序列 x 的任何子集的最 多中文分词的算法 ,主要可以分成以下三类 :a . 基于字符串匹 大连通子图。例如, 在图 1 中, 结点集合{ Y2 , Y3 , X} 就为一个 配的分词方法 :待分析的中文字符串与一定规模的词典中的 最大连通子图。其形式如图 1 所示 : ( 词条进行匹配 ,若在词典中找到某个字符串 ,则匹配成功 识 ) 别出一个词 。按照扫描方向的不同 ,串匹配分词方法又可分 为正向和逆向匹配 ;按照优先匹配的原则 ,可分为最大和最小 匹配 。b . 基于理解的分词方法 :这种分词方法是通过让计算 机模拟人对句子的理解 ,达到识别词的效果 ,也称人工智能 法 。c . 基于统计的分词方法 :这种方法只需对语料中的字组 图 1 　链式条件随机场 频率进行统计 ,而不需要切分词典 ,因而又叫作无词典分词法 在序列标注任务中, 随机变量 X = { X 1 , …, X n} 表示可 或统计取词方法 ,其主要包括基于引马尔可夫模型 、基于最大