基于规则和统计相结合的方法处理甲骨文信息.pdfVIP

基于规则和统计相结合的 方法处理甲骨文信息 蔡慧颖 江铭虎 清华大学中文系计算语言实验室 北京 100084 jiang．mh@mail．tsinghua．edu．cn 摘要：分词和词性标注是计算机处理甲骨文信息的基础。在现阶段，建立起 一个成熟的、带有词法语法标注信息的甲骨文语料库是极其困难的，这也给运用 统计方法处理甲骨文信息带来了不便。本文介绍了甲骨文电子化的基本情况和甲 骨文字典的建设情况；在此基础上，尝试运用统计、规则以及统计和规则相结合 的方法进行甲骨文分词和词性标注工作。简单地说，统计和规则相结合的方法步 骤如下：(1)结合甲骨文字库运用统计方法进行分词或词性标注；(2)消歧；(3)如 果(2)中低于某一阈值则调用规则库进一步处理。实验表明，用规则和统计相结合 的方法进行甲骨文分词和词性标注效果都要优于单纯的规则方法或统计方法，尤 其是在语料库过于稀疏的情况下。文章的最后，简单探讨了如何利用标注的结果 用规则的方法来完成语法分析。 关键词：甲骨文，分词，词性标注，规则和统计结合 一、绪论 甲骨文，是商代(公元前1400年)的文字，这些符号因为刻在兽骨或龟甲上， 故名甲骨文(见图1)。它是目前所知中国最早的成熟的文字。 1899年至今，已经出土了十多万片甲骨。不计重复，约有4000个不同形体， 经过学者们的研究，至今可识读的约有2000字，其他绝大多数是专有名词(人名、 地名)。百余年来，甲骨文的语法研究也日臻成熟。 目前，国内外已有相关单位在甲骨文字库、甲骨文资料电子化等方面做出了 有意义的工作，但系统地对甲骨文进行计算机自动识别、解释的研究，尚属空白。 随着计算机信息科学飞速发展，为使甲骨文资料得到更为充分有效的利用，亟待 研究人员提出新的研究方法，推动甲骨学乃至古文字学的发展。 圉1刻在龟甲上的甲骨文 本文主要尝试提出甲骨文分词和词性标注的解决方法。摄后，我们简单探讨 了如何利J¨杯注的结果用规则的方法来完成语法分析。 二、甲骨史词法特点 虽然甲骨文距令已有3000多年的历史，但其系统已经较为完善，和现代汉语 系统有不少共同点。同现代汉语一样，甲骨文的表义基本单位是词。对h辞中字 与词的关系．学术界已有定论，这就是h辞中的字和词基本一豉，单音节词占绝 对优势，复音词的数量要少得多。 表1甲骨文复音词分布 总数 复音词教 比例(“) 表1从直观上显示了复音词以名词为主。甲骨文中的复音词集中分布在名词类 (尤其是专有名词)，少量分布在数词、动词和介词类。 分布情况如舟2①。 词的兼类，是指一个词经常具备两类或几类词的主要语法功能。甲骨文的兼 类现象远不如现代汉语复杂，基本上，甲骨文是“词有定类，类有定词”。但还是 ① 由于作者统ir的原则不尽相同，在数据上有所出^ 图2甲骨文词类分布圈 存在一定数量的兼类词。甲骨文中词的兼类主要有以下几种情况： 1．兼名、动： 鱼：a．甲申卜，不其网辍? (名词) b．王氧?／OJ趣? (动词) 2．兼动、形： 及：a．己亥历贞：三侯王其令追召方，漉于口? (动词) b．庚午b，贞：禾有藏雨? (形容词) 3．兼名、动、形： 疾：a．贞：妇好有痍，唯有害? (疾病) b．贞：妇井痰，唯有害? (动词) c．贞：今夕其雨，燕? (形容词) 其中第一种情况最为常见，而第二、三种情况都很罕见。由于三种主要的兼 类情况(兼名、动，兼动、形，兼名，动、形)中都有动词的“参与”，因而从某种 程度上讲，掌握了动词的兼类情况，甲骨文的兼类情况也就基本弄清楚了。本文 参考《甲骨文动词词汇研究》，对书中所确认的317个动词作了穷尽性考察，发现共 有78个动词存在兼类现象，绝大多数是名，动