利用词性信息改进Katz平滑算法.pdfVIP

第39卷第9期 哈尔滨工业大学学报 VOL39Nn9 2007年9月 0F 5en2007 JOURNALOFHARBININSllTUTETECHNOLOGY 利用词性信息改进Katz平滑算法 赵岩，王晓龙，徐志明，刘秉权 (哈尔滨工业大学计算机科学与技术学院，哈尔滨l卯001，E·md：yzha0@insun．hil．edu．cn) 摘要：对已有的N—gram平滑算法进行了系统地分析。分别实现了Absolute、w—B和Katz平滑算法．为解 决传统Ka也平滑算法在处理某些汉语固定搭配时无法进行概率折扣的问题，利用词性信息构造了新的折扣 系数．新的折扣系致使词频越大，折扣越小，后接词越多，折扣越大，满足平滑算法对折扣系数的期望，试验结 果表明：新的K山平滑算法降低了N—gram模型的交叉熵，在汉语分词中应用改进的平滑算法也提高了分 词结果的F量廑． 关键词：N一犁锄模型；数据稀疏；词性信息；Ka乜平滑 中图分类号：口391．2 文献标识码：A 文章编号：0367—6234(2007)09—1445—04 Katz withPOSinfb珊ation ImproVedsmooth．ngalgorithms ZHAO Yan，WANG)【iao—long，XUZhi—mi“g，UUBi“g—quan of (sc}啪l sclence孤dlkh∞logy，HarbinIn毗ltuteTech∞Iogy，Hafbinl5000l+china ofcom印kr E_mail：yzllao@j删n．hjt．edu．cn) feviewed metllodsfor model the Abstract：This paper exish”gsInoo血i“g N—F8m 6fsdy，andimplemented Katz discountthe and couldn’t Ab∞lute，W—BKatz蛐oothinga190五thmsre5pectively．Thditionalalgodthm constnlcted coemcientba8edonfh—of． itsmoothedChinesecollocation，wenew Pmbabil畸when discounting inf0皿ationtore80lvethis thenew couldde— Speech problem．Calcu】atedby discoun“ngcoe岱cient，discount themore more sat— creasewhenword increased，卸dcountoff0Ⅱ0wiIlgword，thediscount．All山is fhquency of result lhat Katz could i蚯eddemand showed