利用字面相似度识别汉语同义词的实验.pdfVIP

第15届全国计算机信息管理学术研讨会论文集 利用字面相似度识别汉语同义词的实验 南京农业大学信息管理系 侯汉清 吴志强 (南京农业大学信息管理系 210095) I摘 要7根据汉语词汇中绝大数同义词、准同义词都含有相同语素 (即字)的特点，利 用字面相似度.]，定同义关系，是一种计葬机有效识别同义词的方法.论文讨论了利用字面 相似度识别汉语同义词理论和方法，介绍了金融银行信息后控制检索实验系统，提出了一 种经过加权、并考虑词序的祈的字面相4}A度算法，并讨论了提高同义词识别率的处理方法， 【关健词】汉语同义词 自动识别 字面相似度算法 后控制词表 自然语言检索 随着计算机网络的飞速发展，自然语言越来越广泛地应用于信息检索，大有取代受控 检索语言之势。但是，不受控制或少加控制的信息检索工具如全文数据库、搜索引攀等， 往往会造成检索效率低下，检索速度缓慢，甚至造成信息泛滥。因而必须对自然语言检索 实施分类控制、同义控制等。同义词的自动识别和控制已经成为一项关系全文检索、自动 标引和自然语言理解等中文信息处理成果水平高低的关键技术。本文结合汉语的特点，探 讨用字面相似度算法识别同义词建立后控制词表的可行性。 11汉语同义词的字面相似分析 同义词是任何一个语言词汇中意义上相同或基本相同而材料构造上却不相同的词。现 代汉语词汇的同义词包括两部分。一是意义上完全相同，即等义词，如 “音译”和 “译音气 这一类词的数量很少;二是意义上基本相同的同义词，如 “交税”和 “上税’.，这一类词是 大量的，是同义词的主体部分。为了提高信息检索的检全率，情报检索通常识别以下三类 汉语同义词概念，其范围有别于汉语语言研究中的同义词范围。 (一)具有同义关系的同义词。是由一系列表示事物全称与简称、新名与阳名、学名 与俗名等等关系构成，反映某一专业、某一学科中同一事物对象，例如 “世界贸易组织” 与 “世贸组织”;“马铃薯”与 “土豆”;AIDS”与 “爱滋病、艾滋病”;“激光”与 “镭射、 莱塞’，;“民间信用”与 “民间货款斤等。 (二)表达相似或相近主题概念的准同义词。这一类词还包括部分近义词、反义词及 否定词，如:“银行存贷业务，与 “银行存款业务、银行贷款业务”:“金融性机构，，与 “非 金融性机构”;“精确度”与 “粗糙度”等。 三〔)过于专指的下位词。基于词表容量的考虑，一些过于专指的词往往被聚集成类， 处理成其上位类的同义词。如:“玉米”与 “甜玉米、硬玉米”;“球类运动”与 “毽球、门 球、壁球.，’ 现代汉语同义词的构成有两个重要特点: 其一，同义词组的各个成员大多含有共同的语素 (即字)。这种情形同汉语的单音词 根作为主要构成材料有关。有人对常用的同义词组进行过粗略的统计，组内各成员含有同 一语素的约占65%，如 “订购”与 “定购”，含有共同语素 “购”;组内一部分成员在某一 语素上相同，这部分中有的成员又与其他部分的成员共含有另一语素的，约占20%.如 “付 账、开账、会账、会钞”，前三个词含有共同语素 “账”，而 “会账”与 “会钞”则含有另 第 222页 共 301页 第15届全国计算机信息管理学术研讨会论文集 一共同的语素 “会”;各成员的语素完全不同的只占10%左右，如 “登记”与 “注册”，“案 揭’，与 购“房贷款”。在同义词中，共同的语素往往体现其中心含义，反映同一事物对象， 而不同的语素则体现了意义抽象反映上的差别。下列同义词就充分体现了这一特点。如: “拍卖”与 “甩卖”;“租借”与 “租用”;“放账”与 “放款.，’ 其二，单音词与由之发展而来的同义复合词互相对应。在汉语的发展过程中，双音复 合词虽然日益增多并占有绝对优势，但它们却并不排斥作为其构造基础的单音单词 (可简 称为单音词)的独立存在。相当一部分同义词组包含一个单音词及另一个由之发展而来的 双音复合词，例如:粮与粮食;灾与灾祸、灾害:糖与搪果:厂与厂子、工厂。 从同义词的这两个构成特点可以看出，大多数同义词在构成上都含有一个或多个共同 的语素，在字面上存在着或多或少的相似性，即具有字面相似度。 情报检索领域里的同义词及准同义词，同样具有以上特点。这些同义词及准同义词在 构成上，大多数含有一个