无词典高频字串快速提取和统计算法研究Ξ-中文信息学报.PDFVIP

中　文 　信 　息 　学 　报 第 15 卷 第 2 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 15 No. 2 无词典高频字串快速提取和统计算法研究 韩客松 　王永成 　陈桂林 (上海交通大学电子信息学院　上海 　200030) 摘要 :本文提出了一种快速的高频字串提取和统计方法 。使用 Hash 技术 ,该方法不需要 词典 ,也不需要语料库的训练 ,不进行分词操作 ,依靠统计信息 ,提取高频字串。用语言学知识 进行前缀后缀等处理后 ,得到的高频字串可以作为未登录词处理 、歧义消解和加权处理等的辅 助信息 。实验显示了该方法速度较快且不受文章本身的限制 ,在处理小说等真实文本时体现 了较高的可用性 。 关键词 :Hash 技术 ;高频字串;统计 ;算法 中图分类号 : TP39 1. 1 Research on Fast Highf requency Strings Extracting and Statistics Al gorithm with no Thesaurus HAN Kesong 　WAN G Yongcheng 　CHEN Guilin ( School of Elect ronics Information ,Shanghai J iaotong U niver sity 　 Shanghai 　200030) Email :H KS809 16 @MA IL 1. SJ TU . EDU . CN Abstract :In t his p aper we describe a fast highfrequency st rings ext racting algorit hm . Our ap p roach uses HA SH technology to avoid relying on corp us and wor d segment ation . To ext ract t he high frequency st rings , we only use st atistics information . After p rocessing t he p refixes and suf fixes , t he high frequency st rings we get can be t he supplement knowledge for t he un - login wor ds p rocessing , wor d disambiguation and wor d weighting . The experiment al result s show t hat it has a high speed and can work on arbit rary text s. Our met hod has good effect when p rocessing novels and ot her real text s. Key word :Hash ;highfrequency st rings ;st atistics ;algorit hm 收稿 日期 :2000 - 05 - 08 ;修改稿收到日期 :2000 - 07 - 10 ( ) 基金项 目: 国家 863 计划 863 - 306 - ZD03 - 04 - 1 作者韩客松 ,男 ,博士研究生 ,1973 年生 ,主要研究方向为 自然语言处理