基于边界点词性特征统计的韵律短语切分Ξ-中文信息学报.PDFVIP

中　文 　信 　息 　学 　报 第 15 卷 第 5 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 15 No. 5 基于边界点词性特征统计的韵律短语切分 牛正雨 　柴佩琪 ( 同济大学计算机科学与工程系 　上海 　200092) 摘要 : 由于基于规则方法的文本处理系统在系统建立时需要总结大量的规则 ,而且很难保 证它在处理大规模真实文本时的强壮性 ,因此本文在使用统计方法进行韵律短语切分方面做 了一些有益的探索 。先对文本进行自动分词和 自动词性标注 ,然后利用从已经经过人工标注 的语料库中得到的韵律短语切分点的边界模式以及概率信息 ,对文本中的韵律短语切分点进 行自动预测 ,最后利用规则进行适当的纠错 。通过对一千句的真实文本进行封闭和开放测试 , 词性标注的正确率在 95 %左右 ,韵律短语切分的召回率在 60 %左右 ,正确率达到了 80 % 。 关键词 :韵律短语切分 ; 自动词性标注 ;语料库 ;统计方法 中图分类号 : TP39 1 A Statistical Approach Based on Boundary POS Feature to Prosodic Phrasing N IU Zhengyu 　CHA I Peiqi (Dep art ment of Comp uter Science and Engineering , Tongj i U niver sity 　Shanghai 　200092) Abstract :It is often difficult to const ruct a rulebased p ar ser and adapt it to largescale real text . So we t ried a st atistical app roach to p ro sodic p hrasing . At fir st t he text was segmented into Chinese wor ds ,t hen wor d sequences are t agged automatically by PO S t agger . The boundary p attern and boundary dist ribution p robabilities are used in t he algorit hm to p redict p hrase breaks. The bound ary dist ribution p robabilities are derived from handannot ated corp us. The error s caused by st atis tical met hod are corrected by rules. Through clo se testing and open testing on about 1000 sen tences ,t he correct PO S t agging rate is about 95 % ,t he recalling rate of p ro sodic p hrasing is around 60 % ,and t he correct rate of p ro sodic p hrasing is about 80 %. Key words :p ro sodic p hrasing ;p artofspeech t agging ;corp us ;st atistical app roach 收稿 日期 :200 1 - 0 1 - 15 ;修改稿收到日期 :200 1 - 04 - 17 作者牛正雨 ,男 ,1976 年生 ,硕士 ,主要研究领域为语音合成. 柴佩琪 ,女