基于古汉语语料数据库词的划分方法研究和探索.pdfVIP

计算机科学2006V01．33NO．11(增刊) 基于古汉语语料数据库词的划分方法研究与探索 TheUnknownWbrdsExtractionBasedonthe ChinesePoem andtheAdvanced Corpus Study 赵伟王美艳刘闯 (长春工业大学计算机科学与工程学院长春130012)(吉林省科技厅培训中心长春130012) of one AlⅪtractThe Chineseancientis of hot nellq study poemalways Sinologystudy’sspot,It’sspace／Ordeep otancientChinese to study languagephenomenonapplycomputertechnology。computerlinguisticstheory．method and whichbuildfromthemodemChineseinformationfortheChinesestudv．Thebasisof technique disposition poem to the is extractunknownwordsfromthe Thisarticle tomakeuseofstatistics113re study poemoorious attempts solvethe ofunknownwordextraction． problcⅡ1 Chinese of小eunknownworcl．Statistics Keywords poemCOrpUS。Extract 法和规则的方法。其基本思想就是在提取词的同时 1前言 进行句法、语义分析，利用句法信息和语义信息来进 中国的诗歌艺术渊源流长，诗歌作为一种最接 行词性标注，以解决提取词歧义现象。因为现有的 近口语的大众化文学形式，在汉语文化的成长演变 语法知识、句法规则十分笼统、复杂，基于语法和规 与传播中占有极其重要的地位，唐代的诗歌更是集 则的提取词法所能达到的精确度还远远不能令人满 古代诗歌的优势于一身，并且把诗歌艺术发扬光大， 意，目前这种提取词系统还处在试验阶段。第二类 因此对唐诗的研究历来是汉学研究的热点之一。不 是机械式方法。机械提取词的原理是将文档中的字 过，诗歌的传统研究往往依靠研究者的自身良好的 符串与词典中的词条进行逐一匹配，如果词典中找 文化修养，凭感悟直接把握作品的内涵，这种研究方 到某个字符串，则匹配成功，可以切分，否则不予切 法对于诠释作品的美学及人文意义有很强的优势， 分。基于词典的机械法，实现简单，实用性强，但机 但在对作品的语言全貌进行横向和纵向的分析时， 械提取词法的最大的缺点就是词典的完备性不能得 就会显得捉襟见肘。 到保证。第三类是基于统计的方法。基于统计的方 基于以上因素，将计算机知识应用到诗歌的研 法的基本原理是根据字符串在语料库中出现的统计 究工作中，是计算语言学的一片新天地。运用在现 频率来决定其是否构成词。基于统计的方法即是无 代汉语信息处理研究中建立的计算语言学理论，