语料库的学习与使用.pptxVIP

自然语言处理项目1初识自然语言处理

MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目语料库的学习与使用

什么是语料库在自然语言处理中，大多数情况下都是采用统计的方法，也就是采用机器学习的方法解决问题。机器学习需要大规模的数据作为驱动，在自然语言处理技术中，驱动机器学习的大规模数据，我们称之为语料库。在自然语言处理中，语料库起到的是语言数据库或知识库的作用，无论是全文检索、文本分类还是机器翻译，在处理过程中都要大量访问语言数据库和知识库。语言数据库中含有语言模型训练参数，这是机器学习必不可少的数据，知识库中包含词法、语法相关规则、词汇语义、语言常识、世界常识等知识，也是自然语言处理必不可少的数据支撑。010203

国外语料库的建设Brown语料库：世界上第一个计算机可读的语料库，它搜集的语料来自1961年美国英语出版物上的文本，共500篇，每篇大约2000个单词，合计100万单词。TLF语料库（TremordelaLangueFrancaise），法国国家科学研究中心与美国芝加哥大学联合建成的法语语料库，包括2000书面法语文本，1.5亿词。BNC英国国家语料库：该语料库书面语与口语并存，词容量超过一亿，由4124篇代表广泛的现代英式英