汉语语料中对未知词汇的自动提取.pdfVIP

汉语语料中对未知词汇的自动提取 高军 陈锡先 北京邮电大学信息技术实验室 北京市海淀区西土城路10号北京邮电大学103信箱 北京，100088，中国 e—mail：b950731l@bapt，edu．cn ● 摘要 在智能中文瞎息处理中，对未知词汇的自动提取是非常重要的课题． 它对自然语言学习和自然语言理解都具有重大意义．本文介绍了一种 对未知词汇，特别是各种人名，地名及专业术语等自动提取的智能方 ● 法．这种方法以信息理论中极限熵的概念为基础，运用汉字字串间最大 似然度的概念，通过与已有词典的配合，成功地实现了高正确率的未知 词汇自动提取．并列出了试验结果． 关键词：极限熵，离散平稳信源，最大