自然语言理解-语料库.pptVIP

01LLC语料库021960年代初，由RandolphQuirk主持03收集2000小时的谈话和广播等口语素材并整理成书面材料04由瑞典Lund大学J.Svartvik主持全部录入计算机051975年建成第一代语料库3COBUILD语料库01以词典编撰为应用背景03规模达2000万词次05建于1980年代02有英国Birminghan大学与Collins出版社合作完成04基于该语料库出版的CollinsCobuild词典（1987）受到了广泛的好评06第二代语料库1词典规模达5000万词次LCLE（Longman英语学习语料库）LLELC语料库（Longman/Lancaster英语语料库）建于1980年代目标是编撰英语学习词典，为外国人学习英语服务LSC语料库（Longman口语语料库）包括三个语料库Longman语料库第二代语料库2PennTreeBank（宾州大学树库）01美国Pennsylvania大学1980年代末开始发起02由该校计算机系M.Marcus主持031993年，完成了对近300万英语词的句子语法结构标注042000年完成了中文树库（第一版）：10万词次，4185个句子05第三代语料库2第三代语料库1ACL/DCI语料库美国ACL倡议发起收集语料范围广泛华尔街日报Collins英语词典Brown语料库PennTreeBank一些双语或多语文本等既有已标注的语料，也有未标注语料制定了语料库文件的格式标注采用统一的SGML标注语言语料标注依照TEI（TextEncodingInitiative）标准语料库的收集、整理和应用语料的选取Summers,Longman/LancasterEnglishCorpus:CriteriaandDesign,Harlow:Longman–精品原则–有影响力原则–随机挑选原则–高流通度原则–典型性原则–易于获得原则–具有统计样本意义原则–符合语言规范原则平衡性：主观性强010203040506语料库标注（Annotation）词性标记（Part-of-speechtagging）句法层次和范畴标记（Grammaticalparsing）词义标记（Wordsensetagging）篇章指代标记（Anaphoricannotation）韵律标记（Prosodicannotation）语料库的加工语料库加工工具分类工具名称功能描述A.文件处理工具文本过滤器 将不同的文件格式转成为纯文本文件格式文本分类器 自动判别文本领域语料库辅助校对工具及一致性检查工具 按照语料库加工规范，对语料质量进行管理B.语言处理工具分词与词性标注工具 对语料进行词语识别，词性标记处理词义标注工具 对词义进行标注浅层分析工具 对语块（chunk）进行标注句法分析工具 对句子进行完全句法分析双语语料对齐工具 对双语语料进行各个层级（段落、句子、小句、词的对齐加工双语语料库（BilingualCorpora）加工段落对齐句子对齐词对齐短语对齐基于长度（length-based）的对齐方法GaleChurch(1993)01纯粹基于句子的长度来估计对齐可能性资源要求少，算法效率相对较高02基于词（word-based）的对齐方法03一般要依赖词典资源，算法效率相对较低04双语句子对齐02010304北京大学、富士通公司、人民日报社共同开发完整的词语切分和词性标注信息含《人民日报》1998年上半年全部文本（约1千7百万字）高准确率《人民日报》语料库1样例……港人治港/l”/w、/w高度/d自治/v的/u方针/n保持/v香港/ns的/u繁荣/an稳定/an。/w历史/n将/d铭记/v这个/r坐标/n：/w北纬/b４１．１/m度/q、/w东经/b１１４．３/m度/q；/w人们/n将/d铭记/v这/r一/m时刻/n：/w１９９８年/t１月/t１０日/t１１时/t５０分/t。/w[中国/ns政府/n]nt顺利/ad恢复/v对/p香港/ns行使/v主权/n，/w并/c按照/p“/w一国两制/j”/w、/w“/w12345《人民日报》语料库2London-Lund英语口语语料库1^whata_boutacigar\ette#./*((4sylls))*/*I^w\ont