基于渐进式丰富词典的分词方法研究.pdfVIP

基于渐进式丰富词典的分词方法研究 杨柳1，一，袁方1，霍亮3 (1．河北大学数学与计算机科学学院，河北保定071002； 2．河北大学经济学院，河北保定071002； 3．保定金融高等专科学校计算机系，河北保定071000) E-mail：happykite@mail．hbu．edu．ca 摘 要：由于现代社会飞速发展，一些新的名词不断出现。在已有的字符串匹配的分词方法中，大部分的词典是固定的， 如果出现新的词。那么就不能被正确识别出来。由此该文提出了渐进式丰富词典的分词方法，把那些不能正确分出来的 字符串，利用统计词频的方法记录下来，如果词频达到一定阚值，就可以把它认为是新词，可以把它加入到词典中，使得 词典动态的增加。实验证明。该方法在保证分词速度不受影响的基础上，可以提高分词的精度。 关键词：渐进式丰富词典；字符串匹配分词方法；统计分词方法 文献标识码：A 中圈分类号：TP311 文章编号：1002—8331(2006)32-0164一03 Method Basedon Word Research Segmentation EnrichingDictionaryGradually YANG Lium,YUAN Lian93 Fan91，HUO ofMathematicsand Science，Hebei 071002，China； (1．College Computer University，Baoding，Hebei 2．Hebei 07 1002，China； University，Baoding，Hebei and of Science 071000，China) 3．Dept．ofComputer Tech．，BaodingCollegeFinance，Baoding，Hebei thefast ofmodem newwords the word Abstract：With development society，many appearcontinuously．Inexistingseg— mentationmethodsbasedon ofthemdictionariesare anewword can’t matching changeless．If appears，it strings，most be this forwardthemethodof wordsto the recognized paperputs dictionarygradually．Itregisters accurately．So enriching of