Words, lists, wordlists1 语料库研修PPT.pptVIP

词表观察：分布 POS观察：分布 词表观察：名词分布 观察：动词分布 观察：字母分布 哪些字母最常用？ 各个字母的分布（大写、小写） 观察：词的长度 评价 为数极少的类符高频复现，对文本大小影响显著，包含大多数功能词； 为数极多的类符复现率低，对文本的词语密集度影响显著； 40%左右的类符从不重复出现；说明复现率固然重要，一次词及低频词也极具价值；高频词反映文本的共性，而低频词反映文本的个性； 出现最多的POS依次为名词、动词和介词，各词性内部不同变化形式的词形分布极不均匀，呈现较大斜度。 问题：对比的可能性 除了STTR、词均长、句均长外，以上层面的对比可能更说明问题。 词表的特殊应用 语音学习：查找包含某个音素的单词列表 词语研究：查找包含某个词尾、词头以及某个字母组合的单词列表 归元词表 Words, lists, wordlists 李文中 中国外语教育研究中心 2012 The more we look at word-lists the more we realise that there is no such thing as a standard one, the shape of the word-list depends on our purposes. (Scott and Tribble, 2006, p.31) Research questions How many types and tokens are there in a corpus? What’s their distributions? How many hapax legomena are there? About 41~45% types occur only once. About 0.03% types take up over 30% tokens of the whole corpus The tokens of the word “the” takes up about 6 or 7% of the whole corpus The top 10 words are almost always functional words type频数 占总type% token频数 占总token% 前10个type 10 0.017 384986 24.725 前1000个type 1000 1.71 1071773 30.88 一次type 24218 41.57 24218 1.555 二次type 8394 14.409 16698 1.078 POS 频数 百分率 N 名词 404692 0.26053893418 V 动词 257345 0.16567758201 I 介词 207159 0AT 冠词 153399 0.098757603226 J 形容词 134995 0.086909188766 C 连词 107755 0.06937219627 R 副词 88569 0.057020333641 P 代词 55761 0.035898687172 D 限定词 47757 0.030745747086 T 不定式to 28775 0.018525218762 APP 主有形容词 22481 0.014473169174 M 数词 22258 0.014329602752 总POS数 1553288 98.56% 名词分类 频数 百分率 备注 单数普通名词NN1 238970 0.59049845314 复数普通名词NN2 96738 0.2390410485 单数专有名词NP1 42392 0.10475126763 London 单数时间名词NNT1 8259 0.020408112836 week 普通名词NN 5020 0.01240449527 复数时间名词NNT2 4224 0.010437567335 名词前头衔名词NNB 1509 0.0037287616261 Mr. Prof. 单数方位名词ND1 1181 0.0029182687081 North, South 单数月份名词NPM1 1157 0.0028589643482 January 复数专有名词NP2 734 0.0018137250057 Browns VVN 41460 0.16 VVI 38077 0.15 VVD 25281 0.10 VVG 24987 0.10 VM 20323 0.08 VBZ 15406 0.06 VV0 14025 0.05 VBDZ 12784 0.05 VVZ 11119 0.04 VBI 10883 0.04 VBR 7386 0.