语料库课程(一)笔记剖析.ppt

语料库在外语教学研究中的应用研修班 8.1-8.3 8.1上午 一、基本概念 真正的研究要用语料库来验证结果 T’s ① Text (readable) ② Type 类符 ③ Token 形符 （语料库容量） C’s ① concordance 索引 ② collocation (词汇层面的搭配) ③ colligation (类联接) ④ context 二、为什么要研究语料库语言学 1）使语言学研究更具科学性 2）可验证，不是玩具 3）大数据，更具说服力 4）enables you to look at a lot of language at once （二）李文中 Brown-Raw 语料库范例 Span 跨距 （KWIC，一般左5右5） 检索?排序(sort)，以necessarily为例，观 察得出结论：经常与not连用。 Why concordancing? 上下看强形式搭配，左右看综合分析用法。 基本概念 type （独特词形），token，KW/SW/Node word span (一个span可视作一个mini text) collocates (观察从collocation?colligation?semantic meaning) cotext, context, co-occurrence(同现)，recurrence(复现) Words cluster as people do e.g. Search: no attempt 用法 Regex: \bno\b\s\battempts?(ed/ing)\b 观察collocation and co-occurrence 作业：hair: 单数与复数的隐喻 body metaphor （三）许家金 PowerConc设计原则 most powerful least effort doing more with less 基本操作 N-gram list：n词词表 Hits：相当于 Token概念 Items：相当于Type概念 Size：包括单词、符号、数字 Filter mode：过滤掉不需要的 by value: data?min10, 即过滤掉频率10的词 by Regex: I\S+|C\S+表示介词+连词 exclude 表排除 不勾选表示选中 “Save distribution” 保存分布信息，即按文本单独保存。 （一）李文中 1. 标注信息的添加与使用 e.g. 用PowerConc检索 data?leaner?seccl 问题：男生与女生在口语中使用情态动词有无差异 Step1 打开Sub-corpus creator，导入seccel（只能导入 单个文件夹），显示文本文件，勾选case sensitive（区分大小写），file contains “T1=”，获得男生/女生文本，保存生成子库。 Step2 用PowerConc对两个子库进行比较。 2 趋势 small specific contrastive studies 3 建库准备 建库原则，文本收集，文本分类，文本处理，标记（外部信息），标注（annotating notes,语言学标注） e.g. Year1990/YearSexMale/sex （二）许家金 语料库采集与整理 1. 基本要素 ① Text format: . txt ② Filename: shortalphanumeric(字母数字组 合，不超过8词，不用汉字，不出现空格） ③ encoding ANSI：英语，汉语 三种格式： UTF8：平行语料库 Unicode：其他语言 ④ versions of corpora: RAW, POS, with metadata 2. 批量