统计与词典相结合的领域自适应中文分词_张梅山.docxVIP

卷年 第月 ! 第 ! 期 中文信息学报 ! CDE8(FG!D,)’H(IJI!!H(,D8KFLHD(!A8D)IJJH(M !#$! % K.-B!#$! 文章编号$##%##==#!#$!$#!####* 统计与词典相结合的领域自适应中文分词 张梅山 邓知龙 车万翔 刘挺 社会计算与信息检索研究中心 黑龙江哈尔滨 ! 哈尔滨工业大学计算机学院 ! ! ! % ! 摘 # ! ! 相比分词训练语料$ 要 基于统计的中文分词方法由于训练语料领域的限制 导致其领域自适应性能力较差$*###$ 领域词典的获取要容易许多 而且能为分词提供丰富的领域信息 该文通过将词典信息以特征的方式融入到统计 # )8, $ % ! 分词模型 该文使用 ! % 域自适应能力 % 当测试领域和训练领域相同时 分词的 ,/0.9Z-0 值提升了 当测试领域和训练领域不同时 ! 分词的 值提升了 e ! !e ,/0.9Z-0 关键词 中文分词 % F 中图分类号 )8, 文献标识码 0! ;! ! ! 3 ! ! ! ! !,G1212 *4*16*1847(,-)742-518*1,24/ .,/5,G412’-4*1,2,. # !+12)6)!H,/-!)0G)2*4*1,2 ! [’F(M!K049@.5!SI(M![@4325Q!)’I!:.5U4.5Q!GHE!L45Q ! 8090.-T@!)0510-!P2-!J2T4.3!)2/RZ145Q!.5O!H5P2-/.1425!801-40\.3 ’.-;45!H59141Z10!2P!L0T@5232QV!’.-;45!’04325Q^4.5Q!$*###$!)@45.$ ’6*/48* M050-.3V 91.14914T.3!/01@2O9!P2-!)@45090!:2-O!J0Q/051.1425!O25X1!@.\0!Q22O!O2/.45!.O.R1.;4341V!2a45Q 12!1@0!90TR4P4T!1-.4545Q!T2-RZ9BH5!R-.T14T0!O2/.45!O4T1425.-409!.-0!/2-0!0.943V!.T@40\0O!1@.5!@Z/.53V!.5521.10O 90Q/051.1425!T2-RZ9!.5O!41!T251.459!R3051V!2P!O2/.45!45P2-/.1425B:0!R-2R290!.5!.RR-2.T@!a@4T@!4510Q-.109 O4T1425.-V45!P2-/.1425!4512!91.14914T.3!/2O039 4B0B )8,!/2O03!45!1@49!R.R0- 12!-0.34?0!O2/.45!.O.R1425!P2-!)@45090 :2-O!J0Q/051.1425BIUR0-4/051.3!-09Z319!9@2a!1@.1!2Z-!.RR-2.T@!@.\0!Q22O!O2/.45!.O.R1425B:@05!1@0!1091!T2-RZ9 49!4O0514T.3!12!1@0!O2/.45!2P!1-.4545Q!T2-RZ9!1@0!,/0.9Z-0!\.3Z0!45T-0.909!!ea@05!1091!T2-RZ9!49!45!.O4!PP0-051 O2/.45!2P!1@0!1-.4545Q!T2-RZ9!1@0!,/0.9Z-0!\.3Z0!45T-0.909!eB =) ,/-6)@45090a2-O90 1.1425)8,O2/.45.O. 25 ;! ! ! Q/05 ! R14 ?!引言 !中文分词是中文自然语言处理中最基本的!一个步骤 非常多的研究者对它做了!很深入的研究 也因此产生了很多不同的分词方法 这些方法大体上可以分为%两类 基于词典匹配的方法和基于统计的方法  基于词典的方法( )利用词典作为主要的资源 $! 这类方法不需要考虑领域自适应性的问题 它只需! 要有相关领域的高质量词典即可 ! 能很好的解决 ! 登录词问题 ( ) 基于统计的方法 % % 它采用已经切分好的分词语料作为主要的资源 最! 终形成一个统计模型来进行分词解码 ! 收稿日期 !#$$#!$! 定稿日期 !#$$$!!$ 国家自然科学基金资助项目 国家 重大项目 # 基金项目 国 家自然科学基金重 $ # $ 核高基重大专项 # $哈尔滨工业大学科研创新基金# $ 中央高 !#$$FF#$F!#= !#$$[W#$#+!##$##$ ’HLB(J8H,B!### 校基本科研业务费专项资金 ! # ’$! ! ! 男 硕士研究生 主要研究 # 男 博士研究生 主要研究方向为自然语言处理 邓知龙 作者简介 张梅山 $ % $ $%# ’$! !