情报检索中汉语语词自动切分的研究.pdfVIP

2001 ·2 　　　　　　　　　　　　　图书与情报 ·57 · ·文献语言 · 情报检索中汉语语词自动切分研究 ( ) 文庭孝 湘潭大学管理学院图书馆学系 　湖南湘潭 　411105 〔摘 　要〕　笔者由五笔字型得到启示 ,通过对汉语语词和情报检索系统特点的分析 ,找到了 一条解决汉语语词切分问题的路径 , 即词库划分和联想匹配方法 。基于此 ,笔者建议对《汉语主 题词表》根据相关原理进行修改 , 以解决汉语语词切分中的诸问题 。 〔关键词〕　情报检索 　语词切分 　汉语主题词表 〔中图分类号〕　G 250 　　　　 〔文献标识码〕　A ( ) 〔文章编号〕　1003 - 6938 2001 02 - 0057 - 02 　　利用计算机 自动进行汉语语词切分是计算机 间 ,基本词汇与一般词汇之间都可以相互组合搭配 情报检索中的一大难题 ,许多专家和学者穷其心智 形成新的词语 ,而且都能准确表达概念 。 进行了毕生的研究 ,但仍没有找到一个令人满意的 汉语是一种象形会意语言 ,字与字之间、词与 答案 。多年来笔者有心从事汉语语词切分的思考 词之间的组合丰富多采 ,机动灵活 。而且字与字之 和研究 ,有幸从王码五笔字型得到一丝启发 ,找到 间、词与词之间不象其它语言那样 ,在谴词造句时 了一条通往计算机 自动切分汉语语词的途径 ,在此 有空格或符号隔开 ,加上汉语的词汇又存在着一词 道出以求各位同仁之教与各位同仁共享 。 多义 、多词一义等现象 。汉语的这些特点 ,给汉语 1 　从王码五笔字型得到的启示 语词切分和词频统计带来许多许多困难 。汉语语 向计算机输入汉字的方法有上千种 ,而王永民 词言简意赅 ,结构复杂多样 ,似乎成为汉语语词切 先生研究发明的五笔字型输入法是汉字输入法中 分的“瓶颈”,令人望而止步 。 最常用的一种 。五笔字型最大的优点就在于其掌 是不是汉语语词具有以上特点 ,我们对汉语语 握并充分利用了汉字结构的特点 ,在汉字的输入过 词切分就无计可施了呢 ? 事实并非如此 。 ( 程中又根据汉字的出现频率采用了简码输入法和 我们不妨作一个假设 这个假设是容易实现 ) 联想输入法 ,既符合汉字的特点又照顾了中国人的 的 :假设存在这样一个汉语语词词库 ,它包括汉语 汉字输入习惯 。正因为如此 ,五笔字型具有强大的 语词中存在并且经常为人们所使用的大量词汇 ,而 ( 生命力 ,得到了普遍推广和使用 。 且这些词汇有序排列 这里所说的有序排列 ,是指 ) 启示 :长期以来 ,在情报学中困扰我们的一大 按照词的出现频率进行排列 。即包括我们 日常生 难题就是利用计算机 自动进行汉语语词切分并进 活中经常使用的词汇和各学科专业领域经常使用 行词频统计 , 以实现计算机对文献的自由标引和快 的词汇 。而通常我们把词汇分为基本词汇和一