第一节 电子词典的开发.pptVIP

教学目标 电子词典的类型 电子词典的收词原则 名词、时间词、处所词等词库属性介绍 一、电子词典及其类型 1、定义 电子词典是指一般采用数据库文件格式描写词语的各种属性信息，并以电子文本的形式储存下来的词典。电子词典一般都是人机两用的。 和电子词典相关的还有网络词典，即在线词典。由此形成了新兴的词典学科——计算词典学。 日本20世纪80年代就形成了词典产业。 2、电子词典的类型 （1）从用途分 标注词典：用于自动分词、词性标注、语音标注、词义标注等。这些词典只包括一些要标注的内容信息。 知识词典：主要用来描述各种知识信息，包括语言知识、文化背景知识等等。为计算机自然语言分析、理解、机器翻译等提供基本的知识资源。 综合词典 兼有标注词典和知识词典的作用，既可以为自动分词、标注提供必要的信息，又可以为各种系统提供必要的基本资源。比如：《现代汉语语法信息词典》。 （2）从内容来分 语法词典：主要描述语法信息。 语义词典：主要描述语义信息（概念词典）。 百科知识词典：描述百科知识。 二、电子词典的收词原则 1. 规范原则 符合国家标准《信息处理用现代汉语分词规范》的词语，都属于电子词典的收词范围。《信息处理用现代汉语分词规范》中对“分词单位”的定义：“汉语信息处理使用的、具有确定的语义或语法功能的基本单位。它包括本规范的规则限定的词和词组”。语言学中所定义的词：“最小的能自由运用的语言单位”，首先是电子词典的收录对象。符合《信息处理用现代汉语分词规范》的成语、习用语、缩略语3类比词大的语言成分也属于电子词典的收录范围。 2. 高频原则 现代汉语词汇非常丰富, 即使是严格符合《信息处理用现代汉语分词规范》的分词单位，电子词典也不可能都收。为了做到收词量一定而词的覆盖面最大或词的覆盖面足够大而收词量最少, 电子词典应在规范原则的基础上，遵守高频原则，尽可能多地选收那些使用频率高、适用面广的词语, 尽量少收低频词。词语频度主要是通过对大规模语料的统计、分析获得。 3、稳定原则 尽可能多收录稳定性强的词语，对那些只通行于过去某一段时期, 而现在已较少使用的词语, 即使统计频率较高，也一般不予收录，。另外, 对于当前较为流行的一些新词, 由于尚未稳定下来, 电子词典也不收录。为了保证所收词语具有较强的稳定性, 电子词典在收词时, 不是首先从各种语料中进行切词，而是直接利用现有的有代表性的词表和词典作为词条来源。如果一个词语在各种词表或词典中出现的次数越多，就表明其稳定性越高，优先收录。 4、针对性原则 语法词典主要应用于规范的现代汉语，所以以下四类词不收。（1）文言色彩很浓的词。（2）方言色彩很浓的词。（3）专业色彩很浓的词。（4）较长时间不用的词。 5、能产性原则 一部词典收词再多也不可能把所有的词都收录进去，为了不增加词典的储存空间，而且能够增加词典的完备性，收录尽可能多的“词部件”。词典收录了这些基本的词部件(可以是语素、词或固定短语)，并辅之以对这些词部件的构词能力及其组合规则的描写，就可以让计算机运用这些知识去处理未定义词。这样, 电子词典的规模不仅不会过于庞大, 而且还可以大大增加词典的容量。词部件主要有：（1）前接成分，如：阿、老、超、非；（2）后接成分，如：子、儿、头、们、者、化等；（3）语素，如：齿、贝、芳、函、讯。 6、语法义项原则 （1）同字——同音词（同音同形词）作不同的词条 （2）多义词几个义项若语法功能不同则为不同词条，若几个义项语法功能相同为一个词条。 （3）单义词语法功能不同作不同的词条。 7、实用原则 （1）以规范的现代汉语普通话词语为主, 尽量少收古汉语词语、方言词语。 （2）增补了少量使用频率特别高的自由短语 （3）收录少量的非语素字。 （4）收录了中文标点符号。 三、具体词类库的属性字段 第一节 电子词典的开发 授课教师：徐艳华 授课时间：2006年11月29日 鲁东大学汉语言学院