自然语言理解-语料库.ppt

1COBUILD语料库2建于1980年代3以词典编撰为应用背景4有英国Birminghan大学与Collins出版社合作完成5规模达2000万词次6基于该语料库出版的CollinsCobuild词典（1987）受到了广泛的好评第二代语料库1Longman语料库1建于1980年代2包括三个语料库3LLELC语料库（Longman/Lancaster英语语料库）4LSC语料库（Longman口语语料库）5LCLE（Longman英语学习语料库）6目标是编撰英语学习词典，为外国人学习英语服务7词典规模达5000万词次8第二代语料库2PennTreeBank（宾州大学树库）美国Pennsylvania大学1980年代末开始发起由该校计算机系M.Marcus主持1993年，完成了对近300万英语词的句子语法结构标注2000年完成了中文树库（第一版）：10万词次，4185个句子0103020405第三代语料库2第三代语料库1ACL/DCI语料库美国ACL倡议发起收集语料范围广泛华尔街日报Collins英语词典Brown语料库PennTreeBank一些双语或多语文本等既有已标注的语料，也有未标注语料制定了语料库文件的格式标注采用统一的SGML标注语言语料标注依照TEI（TextEncodingInitiative）标准语料库的收集、整理和应用语料的选取Summers,Longman/LancasterEnglishCorpus:CriteriaandDesign,Harlow:Longman–精品原则–有影响力原则–随机挑选原则–高流通度原则–典型性原则–易于获得原则–具有统计样本意义原则–符合语言规范原则平衡性：主观性强01语料库标注（Annotation）05篇章指代标记（Anaphoricannotation）03句法层次和范畴标记（Grammaticalparsing）02词性标记（Part-of-speechtagging）04词义标记（Wordsensetagging）韵律标记（Prosodicannotation）06语料库的加工语料库加工工具分类工具名称功能描述A.文件处理工具文本过滤器 将不同的文件格式转成为纯文本文件格式文本分类器 自动判别文本领域语料库辅助校对工具及一致性检查工具 按照语料库加工规范，对语料质量进行管理B.语言处理工具分词与词性标注工具 对语料进行词语识别，词性标记处理词义标注工具 对词义进行标注浅层分析工具 对语块（chunk）进行标注句法分析工具 对句子进行完全句法分析双语语料对齐工具 对双语语料进行各个层级（段落、句子、小句、词的对齐加工双语语料库（BilingualCorpora）加工段落对齐句子对齐词对齐短语对齐01基于长度（length-based）的对齐方法GaleChurch(1993)02纯粹基于句子的长度来估计对齐可能性资源要求少，算法效率相对较高03基于词（word-based）的对齐方法04一般要依赖词典资源，算法效率相对较低双语句子对齐北京大学、富士通公司、人民日报社共同开发01高准确率04含《人民日报》1998年上半年全部文本（约1千7百万字）02完整的词语切分和词性标注信息03《人民日报》语料库1样例……港人治港/l”/w、/w高度/d自治/v的/u方针/n保持/v香港/ns的/u繁荣/an稳定/an。/w历史/n将/d铭记/v这个/r坐标/n：/w北纬/b４１．１/m度/q、/w东经/b１１４．３/m度/q；/w人们/n将/d铭记/v这/r一/m时刻/n：/w１９９８年/t１月/t１０日/t１１时/t５０分/t。/w[中国/ns政府/n]nt顺利/ad恢复/v对/p香港/ns行使/v主权/n，/w并/c按照/p“/w一国两制/j”/w、/w“/w12345《人民日报》语料库2London-Lund英语口语语料库1^whata_boutacigar\ette#./*((4sylls))*/*I^w\onthaveoneth/anks#*---/^arentyou.goingtositd/own#-/^[/\m]#-/^havemy_coffeeinp=eace#---/^quitea