语料库的制作和演示课件.pptVIP

语料文本的基本处理：主要处理方式-1 语料的最常用存储方式是纯文本，纯文本顾名思义就是只有文字，不支持任何其他字符格式，如粗体、斜体、下划线、表格框，等等。语料以这种方式存储占用空间极小，且几乎所有检索软件都支持。 将语料以这种方式存储只是检索的操作，更重要的是让存储的文本内容规范，格式尽量一致，而且没有乱码，不必要的空格和软回车、硬回车，等等文本噪音。要做到这些，就需要对语料进行按部就班的处理。使用Microsoft Word可以对文本进行处理。 * jgyj 语料文本的基本处理：主要处理方式-2 Word中的替换、Macro的使用 其他语料文本处理工具的使用（Editplus） * jgyj 语料文本的基本处理：主要处理方式-3 规范语料文件的生成：无噪音、符合预期的加工规范（标记充分）。 Header p|s POS 存储格式（txt|xml） 辅助软件的使用：通常会包含包含文本除噪程序的headadder，txtmarker。其实除噪是执行一些替换性的操作（see next slide） * jgyj 语料文本的基本处理：主要处理方式-4 $line=~s/\s\n/\n/g; #matching and replacing all $line=~s/(.)\n/$1 /g; #matching and replacing all $line=~s/[\r\n]/##/g