语料库的制作和.pptVIP

语料文本的基本处理：主要处理方式-1 语料的最常用存储方式是纯文本，纯文本顾名思义就是只有文字，不支持任何其他字符格式，如粗体、斜体、下划线、表格框，等等。语料以这种方式存储占用空间极小，且几乎所有检索软件都支持。 将语料以这种方式存储只是检索的操作，更重要的是让存储的文本内容规范，格式尽量一致，而且没有乱码，不必要的空格和软回车、硬回车，等等文本噪音。要做到这些，就需要对语料进行按部就班的处理。使用Microsoft Word可以对文本进行处理。 * jgyj 语料文本的基本处理：主要处理方式-2 Word中的替换、Macro的使用 其他语料文本处理工具的使用（Editplus） * jgyj 语料文本的基本处理：主要处理方式-3 规范语料文件的生成：无噪音、符合预期的加工规范（标记充分）。 Header p|s POS 存储格式（txt|xml） 辅助软件的使用：通常会包含包含文本除噪程序的headadder，txtmarker。其实除噪是执行一些替换性的操作（see next slide） * jgyj 语料文本的基本处理：主要处理方式-4 $line=~s/\s\n/\n/g; #matching and replacing all $line=~s/(.)\n/$1 /g; #matching and replacing all $line=~s/[\r\n]/##/g; #matching and replacing all $line=~s/\*//g; #matching and replacing all $line=~s/^\s*$//g; #matching and replacing all $line=~s/\\s{0,}/\s/g; #matching and replacing all $line=~s/\\s\n/\n/g; #matching and replacing all $line=~s/\Z\n/##/g; #matching and replacing all $line=~s/ +/ /g; #replace more whitespaces with just one $line=~s/\s+(#{2,})/$1/g; #matching and replacing all * jgyj 语料文本的基本处理：主要处理方式-5 添加metadata后的语料样态 * jgyj 语料文本的基本处理：主要处理方式-6 * jgyj 双语语料的对齐：方式和方法-1 对齐就是源文和译文对应。翻译语料的主要特征是对齐。 对齐的语言层级： 段对齐 句对齐 段对齐中的句对齐 对齐方式不同，与创建语料库的目的有关。比如，如果仅仅用于辅助翻译，就可以采用句对齐。而要用于翻译研究，就需要考虑段落层面的语言使用信息，如衔接、话语标记等。对齐软件有很多，CAT类软件、Paraconc、专门软件。 * jgyj 双语语料的对齐：方式和方法-2 初始对应：源语、目标语文本段对齐，word下完成校对。这一步最重要。 Paraconc可以考虑添加s标记。 对齐：软件对齐。如aligner，paraconc；Trados，dejavu，bitext2tmx。前两者提供段对齐和句对齐；后三个软件一般只提供句对齐。 * jgyj 语料赋码 Annotation, 就是加标签（tagging）. 标注的分类：自动标注、人工标注；词性-句法标注、功能标注；标注标记_、/、。 人工标注主要是指功能性标注，如语义标注、翻译手段的标注，以及为满足特定研究目的进行的附码如话轮、间接、直接言语行为，等等。从一定意义上说，人工标注涉及更深语言层面，标注充分对于研究自然更有意义。 自动标注主要包含词性标注和句法标注，可以通过软件来实现。 * jgyj 语料编码、存储格式 使用text文本时，缺省编码为ANSI。用于WordSmith用的语料文本一般应为unicode。许多软件如Antconc等支持utf-8编码，这种编码各种语言通用，最不易出现乱码。实现方式：txt文本，另存为，“编码”对话框中选择utf-8即可。 存储方式 语料数据文件最好能在不同的检索程序上通用，甚至可以在一些现成的管理程序如excel上执行数据信息的计算，分析和管理。要实现这样的功能，简单存储为txt文本显然不能满足以上要求。这时就需要一种比较完整地数据存储方式xml。 可扩展标记语言 (Extensible Markup Language) 可以用来标记电子文件，标记后的文件有结构性的标记语言。既然标记数据就可以通过标记定义数据的类型，而且标记可以根据我们自己的需要自行定义，合乎语法就行。Xml生成 * jgyj 语料检索：基本检索和高级检索-1 检索与语言