基于XML的汉语语料标注问题研究-计算机软件与理论专业论文.docxVIP

摘要语料库语言学是当代计算学语言学中经验主义方法论取得显著成 摘要 语料库语言学是当代计算学语言学中经验主义方法论取得显著成 效从而在计算语言学领域占有一定的优势地位的新学科方向。语料库 不仅是自然语言处理领域的基础性资源，并且由此产生很多不同于理 性主义方法的理论和方法。因此语料库建设和研究就成为计算语言学 的奠基工作。实践证明一个好的语料库应该具有可重用性和可扩展 性，而语料标注的标准化对于语料库建设具有十分重要的意义。语料 标注跨越语言学和计算机科学，需要对标注的内容(即标注哪些信 息)、目的(即为什么要标注)、手段(即怎样实现标注)等问题进行 逐一的回答，而语料标注的标准化也需要在这些问题上有一个明确的 答案之后才得以进行。但是目前中文语料标注的工作主要集中在标注 内容的研究上，更多地从语言学的角度研究汉语词性标注和切分的问 题，对于语料标注的手段问题特别是编码格式的问题很少涉及，这样 也就达不到语料的标准化。 XML作为网络间数据交换的标准语言在许多垂直行业特别是电子 商务中得到了广泛运用，同时目前在语料标注领域也出现了将XML 作为标注的标记语言的趋势。 本文对汉语语料标注的问题进行了研究，主要包括： l， 比较了国内外语料标注的理论研究和工程项目，指出了国内语 料标注研究的两大不足，即对语料标注的编码格式的关注程度不够； 对于标注更多集中在切分标注层次上，而没有一个分层体系下的标注 研究 2， 提出语料标注应该着眼于语料的相互交换，而不是语料的本地 处理 3， 基于上述的认识明确提出了标注语义和标注表示的区分，该划 分具有十分重要的意义，该划分廓清了语料标注领域中的认识误区， 将语料标注问题的研究分成两个相对独立的部分，从而可以相对独立 地发展关于标注语义和标注表示地研究。并将标注表示的问题归结为 一系列对标注表示的要求，这些要求需要有一个分层次的语料标注模 型。 4， 4， 目前国内还没有出现关于语料标注抽象数据模型研究的资料， 本文则给出了一个基于集合论和图论的形式化描述分层语料标注模型 (MCAM Multilevel Corpus Annotation Model)，并且在定义该模型的 同时将该抽象模型和具体的语料标注过程进行了对应，分析了分层标 注模型的优点，并且给出了MCAM模型的XML表示，从而说明了 该抽象模型现实的可行性。 5， 最后则根据工作的实际，给出了一个MCAM模型下切分标注 的XML规范表示，并编写了程序实现语料的内部格式到XML格式 之间转化的程序 6， 本文的研究还包括对《语法信息词典》的XML改造。在分析 了语法信息词典在形式上的诸多不足之后，给出了一个XML的规范， 并根据该规范将词典的部分转换成了XML格式，转换的过程没有出 现信息的丢失。 关键字：语料库，标注，XML，分级标注模型 Abs仃actCorpus Abs仃act Corpus Linguistic，a successful empirical methodology,now is a prevailed new trend in Computational Linguistic field．Corpus is fundamental resource for Natural Language Processing．So some theory and method in different with rational methodology is required that means the construction and research on corpus issue is the basic of Computational Linguistic．It is evident that reusability and extensibility are essential quality for good corpus，while standardization of corpus annotation is the key element of reusability and extensibility．Corpus annotation spans linguistic field and computer field，concerning about the content of annotation(i．e．what information should be provided by the annotation)，the intention of annotation(i．e．what is the reason of annotation)，the method of annotation