基于词频学习和动态词频更新的藏文自动分词系统设计-计算机应用与软件.PDFVIP

第３１卷第５期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．５ ４ ２０１４年５月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｙ２０１ 基于词频学习和动态词频更新的藏文自动分词系统设计 项　炜　金　澎 （乐山师范学院智能信息处理及应用实验室　四川乐山６１４０００） （乐山师范学院计算机科学学院　四川乐山６１４０００） 摘　要　　藏文自动分词问题是藏文自然语言处理的基本问题之一。针对藏文自动分词中的重点难点，例如：格助词的识别、歧义 切分、未登录词识别技术设计一个新的藏文自动分词系统。该系统采用动态词频更新和基于上下文词频的歧义处理和未登录词识 别技术。在歧义字段分词准确性、未登录词识别率和分词速度上，该系统具有较优的性能。 关键词　　藏文自动分词　自然语言处理　格助词　动态词频更新　歧义处理　未登录词识别 中图分类号　ＴＰ３９１．１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０５．０２７ ＤＥＳＩＧＮＯＦＡＵＴＯＭＡＴＩＣＴＩＢＥＴＡＮＷＯＲＤＳＥＧＭＥＮＴＡＴＩＯＮＳＹＳＴＥＭＢＡＳＥＤＯＮＷＯＲＤ ＦＲＥＱＵＥＮＣＹＬＥＡＲＮＩＮＧＡＮＤＤＹＮＡＭＩＣＷＯＲＤＦＲＥＱＵＥＮＣＹＵＰＤＡＴＩＮＧ ＸｉａｎｇＷｅｉ　ＪｉｎＰｅｎｇ （ＬａｂｏｒａｔｏｒｙｏｆＩｎｔｅｌｌｉｇｅｎｔＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎ，ＬｅｓｈａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｌｅｓｈａｎ６１４０００，Ｓｉｃｈｕａｎ，Ｃｈｉｎａ） （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＬｅｓｈａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｌｅｓｈａｎ６１４０００，Ｓｉｃｈｕａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＡｕｔｏｍａｔｉｃＴｉｂｅｔａｎｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｉｓｏｎｅｏｆｔｈｅｂａｓｉｃｐｒｏｂｌｅｍｓｉｎｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇｏｆＴｉｂｅｔａｎ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｄｅｓｉｇｎ ａｎｅｗａｕｔｏｍａｔｉｃＴｉｂｅｔａｎｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｓｙｓｔｅｍｉｎｌｉｇｈｔｏｆｔｈｅｋｅｙｓａｎｄｄｉｆｆｉｃｕｌｔｉｅｓｉｎｉｔ，ｆｏｒｅｘａｍｐｌｅ：ｔｈｅｔｅｃｈｎｏｌｏｇｉｅｓｏｆｉｄｅｎｔｉｆｉｃａｔｉｏｎｏｆｃａｓｅ ａｕｘｉｌｉａｒｙｗｏｒｄ，ｔｈｅａｍｂｉｇｕｉｔｙｓｅｇｍｅｎｔａｔｉｏｎ，ａｎｄｔｈｅｕｎｋｎｏｗｎｗｏｒｄｓｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｅｓｙｓｔｅｍｕｓｅｓｔｈｅｔｅｃｈｎｉｑｕｅｓｏｆｔｈｅｄｙｎａｍｉｃｗｏｒｄｆｒｅｑｕｅｎｃｙｕｐ ｄａｔｅａｎｄｔｈｅａｍｂｉｇｕｉｔｙｔｒｅａｔｍｅｎｔａｎｄｕｎｋｎｏｗｎｗｏｒｄｓｒｅｃｏｇｎｉｔｉｏｎｗｈｉｃｈａｒｅｂａｓｅｄｏｎｔｈｅｗｏｒｄｆｒｅｑｕｅｎｃｙｏｆｔｈｅｃｏｎｔｅｘｔ．Ｔｈｅｐｒｅｓｅｎｔｅｄｓｙｓｔｅｍｈａｓ ｒｅｌａｔｉｖｅｌｙｈｉｇｈｐｅｒｆｏｒｍａｎｃｅｉｎｔｅｒｍｓｏｆｔｈｅｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙｏｆａｍｂｉｇｕｉｔｉｅｓ，ｔｈｅｒｅｃｏｇｎｉｔｉｏｎｒａｔｅｏｆｕｎｋｎｏｗｎｗｏｒｄａｎｄｔｈｅｓｅｇｍｅｎｔａｔｉｏｎｓｐｅｅｄ． Ｋｅｙｗｏｒｄｓ　　ＡｕｔｏｍａｔｉｃＴｉｂｅｔａｎｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ　Ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ　Ｃａｓｅａｕｘｉｌｉａｒｙｗｏｒｄ　Ｄｙｎａｍｉｃｗｏｒｄｆｒｅｑｕｅｎｃｙｕｐｄａｔｅ Ａｍｂｉｇｕｉｔｙｔｒｅａｔｍｅｎｔ　Ｕｎｋｎｏｗｎｗｏｒｄｓｒｅｃｏｇｎｉｔｉｏｎ 则库识别出格助词。经过格助词识别后，一个藏文句子被分为 ０　引　言