汉语中新词识别方法研究.docxVIP

汉语中新词识别方法研究 王倩倩，范通让 石家庄铁道大 学 信息科学与技术学院 ，河北 石家庄 05 0043) 摘要：随着互联网和社会的飞速发展，新词不断涌现。识别和整理这些新词语，是中文信息处 理中的一个重要研究课题。提岀一种新词识别方法，该方法利用基于PAT^Vrray的重复字符串 抽取候选串，提高了新词的召回率。并在此基础上分析新词内部模式，添加了垃圾串过滤机制。 单字串 过滤主要是运用垃圾词典 的方法，多字词模式新词的确定是利用改进的互信息与独立成 词概率结合的方法。由此，大幅度提高了新词识别的 准确率。 关键词：新词；PAT^Array ；互信息；垃圾串过滤；内部模式 中图分类号：TP391.12 文献标识码：A ResearchofChinese neww ord identificationm ethod WANG Qian-qian，FANTong-rang School o f In fo rmationS cience andT echnology，Shij iazhuangT ie daoUn iversity Shijiazhuang，Hebei 05004 3 , Chin a) Abstract: With the rapid development of internet and society ,new words are emerging .Id