大型术语部件库建设的实践与思考.docVIP

大型术语部件库建设的实践与思考 杨福义 （鞍山师范学院，辽宁，鞍山，114006） 摘 要：在大规模术语部件库的建设中，获得了10万条术语部件，对建设中使用的技术予以介绍。进行了术语部件库的统计分析，总结了术语部件库的建设经验与问题，提出了进一步解决的初步方法。 关键词：术语部件，统计语言学，术语经济律 术语部件库是一个包含丰富信息的知识库，这些丰富信息有助于新术语的自动发现、术语的自动定义、术语概念体系的建立等相关研究工作[1]。目前，较大型的术语部件库很少见到报导。缺少相应的术语部件构成统计分析。为了进一步开展科技文献、论文的自动标引与自动分类，以及发现新的科技术语，迫切需要建设一个较大规模具有专业领域特异性的术语部件库。 术语部件库建设的前期准备 为了更好地进行文本的科学自动分类与自动标引，必须有一个来源可靠，分类科学的分词词典，以及方便合理的分词工具。术语部件对于建立按学科的自动分类与自动标引具有重要的作用。是当今时代中文信息处理的迫切需要。也是为数以千万读者快速方便进行科学文献智能检索而提供的重要工具。 术语具有学科领域性鲜明的特点，是按学科分类的重要工具。由于术语大部分由术语部件所组成。术语部件中含有重要的语义信息，可以用于科技文献的自动摘要，关键理论与信息的自动抽取和分析，国家有关部门对术语数据库的建设制定了一系列建设标准与规范。术语部件库建设规范就是一项重要的参考资料。 1.1 术语部件库的数据来源。 术语部件库需要对术语数据库中的术语进行解析，将多词术语按条目进行切分与标注，在此基础上进行术语部件的提取。 术语部件库的建设，离不开术语数据库。对术语数据库的要求是权威、规模与具有领域特异性。 术语数据库选用了中国科学技术名词审定委员会网站发布的术语数据电子文本。以及中国知网获得授权发布的中国规范术语。以保证术语部件的来源权威性。数据库的电子文本通过多年的复制，拷贝，粘贴。获得了基本可靠的原始术语数据库。获得的基本原始数据，需要净化编辑不规范有问题的术语词汇。 1.2 术语的净化与预处理 出版的术语词典，发布的术语文件是众多专家与志士的心血结晶，是多年建设的成果。但术语库的建设是一项持续恒久的工作。总有些许的瑕疵。有些问题也有不同的见解与观点分歧。下面就术语数据库净化与预处理的几个问题予以说明。 A 术语中的字母词 术语中的数字与字母词已有多篇文章讨论论述。在部件库的建设中，对数字字母词做如下处理。 对术语中的全角，半角混用词。在不改变原有词义的情况下，采用全角化处理，以保证分词的准确性。 B 术语中的标点符号词 发布术语含有标点符号，在国家标准信息处理用现代汉语分词规范（GB/T 13715）分词原则[2]第一项就指出空格或标点符号是计算机中的分词单位标记。如果将带有标点符号的词，按标点符号切分，将违背术语部件与术语相关关系的含义。因此，术语部件库建设中，对含有标点符号的术语词，分别根据具体情况予以处理。 术语中的标点符号问题，比字母词带来的问题更严重。绝大多数分词软件都无法把标点符号连接的词汇进行准确分词。 术语中的标点符号又有中文标点符号与英文标点符号。也需要根据具体情况相应处理。 标点符号词举例： (0,2)插值[数学](0,2) interpolation 0#[数学]zero-sharp 1-(2-吡啶基偶氮)-2-萘酚[化学]1-(2-pyridylazo)-2-naphthol,nbspPAN 面部〖KF(〗2〖KF)〗比例[医学]facial square root 2 proportion C 术语中的特殊字母词 将术语统一转化为全角汉字符号。使用UTF-8编码，可以处理包括中韩日全部象形文字的数据，但对于希腊字母，却只有双字节的内码数据，因此对于含有希腊字母的术语词，分词时也要特殊处理，转化为ANSI码处理。 保留术语中的标点符号，不进行分词。对全半角混用，一律改为全角字符。对术语条目中出现的空格，删除。对中文标点符号中的半角连接号，改为全角的连接号。全部英文字母与标点，采用全角中文字母表示。 术语部件库建设中的分词 中文分词，如前所述，已有国家标准，但目前为止，标有词性的专门分词词典还没有公开出版。其中最大的难点是词与字的定义，绝大多数汉字具有词义，可以说几乎一字一词。分成单个汉字显然脱离中文分词作用的初始意愿。分词原则是以中文信息处理为目的。规范中明确指出了其他领域参考、补充与细化问题。 国家标准[2]中有“一律切分”“不予切分”“应予切分”“按习惯形式切分”等多种规定。没有完整的词表，这些切分原则会有不同解释。 在术语部件库建设规范[1]中，有结合紧密、生成能