基于条件随机场的无监督中文词性标注-计算机应用与软件.pdfVIP

第２８卷第４期　　　 计算机应用与软件 Ｖｏｌ２８Ｎｏ．４ ２０１１年４月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｐｒ．２０１１ 基于条件随机场的无监督中文词性标注 孙　静　李军辉　周国栋 （苏州大学计算机科学与技术学院　江苏苏州２１５００６） 摘　要　　中文词性标注是中文信息处理领域的一项基础工作。提出了一种基于条件随机场ＣＲＦｓ（ＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍＦｉｅｌｄｓ）模 型的无监督的中文词性标注方法。首先利用词典对获得的已分好词的生文本进行词性标注，得到初始标注语料，然后利用ＣＲＦｓ对 语料进行迭代标注，逐步优化标注结果。并以宾州树库为实验语料，考察了不同规模的标注数据对模型性能的影响，在四份不同规 模语料上的实验表明，词性标注正确率提高了１．８８％～２．２６％。 关键词　　条件随机场　无监督学习　词性标注 ＡＮＵＮＳＵＰＥＲＶＩＳＥＤＣＨＩＮＥＳＥＰＡＲＴＯＦＳＰＥＥＣＨＴＡＧＧＩＮ