《基于微博内容的新词发现方法-论文》.pdfVIP

第 27卷 第2期 模式识别与人工智能 Vo1．27 No．2 2014年 2月 PR AI Feb． 2014 基于微博 内容的新词发现方法木 霍 帅 张 敏 刘奕群 马少平 (智能技术与系统国家重点实验室 北京 100084) (清华信息科学与技术国家实验室(筹) 北京 100084) (清华大学 计算机科学与技术系 北京 100084) 摘 要 新词发现在 自然语言处理领域具有重要意义，在微博内容上的新词发现比在一般语料上更难．文中提出 引入词关联性信息的迭代上下文熵算法，并通过上下文关系获取新词候选列表进行过滤．为进一步提高精度，引入 自然语言处理中的词法特征 ，提出与统计特征相结合的过滤方法．与现有方法相比，准确率和召回率均有大幅提