自建学习者语料库.pptVIP

自建学习者语料库 王立非 philipw@126.com 提纲： Why use a corpus? Why use electronic text? To study knowledge of language through specimens of language use: naturally-occurring data ... Accessibility Speed: can be analyzed more quickly Accuracy: for some tasks, processing e-text is more accurate than eye scan 种类: A. by medium: printed, electronic text, digitized speech, video (e.g. for ASL), mixed C. language variables: monolingual vs. multilingual (CHILDES database) original vs. translations (parallel) native speaker vs. learner (e.g. corpora of learner compositions) Taxonomies of corpora D. language states: synchronic vs. diachronic (e.g. Brown vs. Helsinki Diachronic corpus) E. Plain vs. annotated 语料库分层结构： 建口语库流程： 口语库建设流程: 口语库结构: 语料命名: 三类标注： 文本头标注： 文本头标注： 口语特征标注： 语法错误标注： 建书面语库 Annotation of corpora Automatic tagging and manual tagging A. Header mark-up B. Part-of-speech tagging C. Syntactic annotation (parsed corpora) D. Pragmatic annotation E. Rhetorical information F. Discourse structure 文本头标注： 词性（POS）自动赋码： Corpus is the mainstream!-- G. Leech * * 语料库的定义/种类/规模 建库原则/设计 建设口语库 建设书面语库 文本头标注 Bodies of natural language material (whole texts, samples from texts, or sometimes just unconnected sentences), which are stored in machine-readable form. What is a corpus? Voice data is also corpus! 5-10万词(小型) 100万词(中型) 5000万词(大型) 1亿词(特大型) 语料库规模: 学习者语料库设计 语言 学习者 媒介 年龄 风格 性别 话题 母语 技术性 地区 任务环境 其他外语 语言水平 学习环境 实际经验 语料库设计应考虑（Granger 2003)： 语料库设计： 学习者语料库 口语子库 笔语子库 已 附 码 未 附 码 未 附 码 已 附 码 筛选样本。 将录音磁带上的口语原声转录进计算机。 对数码语音文件命名。 对数码语音文件的音质进行检测。 对小部分音质差的语音重新转录。 组织人工逐一听抄录音。 将听抄文字内容输入电脑。 对文本文件命名。 标注语法错误。 对部分口语特征进行标注。 语音文件与文字文件配对检验。 第一次校对。 第二次校对。 抽检语音和文字样本。 将文字（WORD）文件格式转换为纯文本（TEXT）文件格式。 对纯文本文件进行切分。 对每条切分过的文本语料进行文本头标注。 对语料库进行统计分析。 将部分语