自然语言处理中技术评测及关于英语专业考试思考.docVIP

自然语言处理中技术评测及关于英语专业考试思考 　　栏首语:2009年11月本刊联合教育部高等学校外语专业教学指导委员会英语专业四、八级测试工作组在南京工业大学召开全国“英语专业四、八级测试暨计算机信息技术应用”专题研讨会。现将嘉宾主题报告及部分优秀论文集中刊发,以促进专业四、八级测试学研究的进一步发展。――编者 　　 　　摘 要: 本文概要介绍自然语言处理的研究内容、主要成果及应用,特别关注自然语言处理领域中的主要技术评测、评测的意义和方法以及评测对英语专业四、八级专业考试的启示。作者尝试从“测试”这一层面探讨自然语言处理与语言教学之间可能存在的结合点,期待两者的相互借鉴、共同发展。 　　关键词: 自然语言处理;评测;语言教学;英语专业考试 　　中图分类号:H319.3文献标识码:A文章编号:1001-5795(2010)01-0003-0007 　　 　　在中国国家标准《学科分类与代码表》(GB/T 13745―1992)中,“自然语言处理”(Natural Language Processing)与“语言教学”均为三级学科,分属“计算机科学技术”下设的“人工智能”和“语言学”下设的“应用语言学”。而在二级学科“应用语言学”之下,还设有“计算语言学” (Computational Linguistics),其研究对象、研究工具、研究目标以及理论方法等与“自然语言处理”均无本质区别(俞士汶等,2009:34-39)。从学科分类的角度来讲,自然语言处理与语言教学的类属并不相同,但两者均着眼于语言的应用。我们可以把自然语言处理研究更形象地描述为“教”计算机“学习”语言,从而将它与语言教学进一步联系起来,使两者可在一定层面上相互借鉴,共同发展。本文关注自然语言处理领域中的技术评测和英语专业教学中的四、八级考试,从“测试”这一层面探讨自然语言处理与语言教学之间可能存在的结合点。 　　 　　1 自然语言处理概要 　　 　　1.1 自然语言处理与计算语言学 　　自然语言处理和计算语言学这两个三级学科其实都以人类使用的自然语言(汉语,英语等)为研究对象,都以计算机为研究工具,都以实现人用自然语言与计算机交流、实现计算机理解自然语言为研究目标,都要研究共同的理论和方法。《学科分类与代码表》将“自然语言处理”划入理科范畴,而将“计算语言学”划入文科范畴,正好反映了这两门新兴学科文理交叉的显著特点。如果要将它们进一步区别开来,可以认为自然语言处理技术倾向于应用研究,构造在信息化社会中极具实用价值的自然语言处理系统,其实际应用包括语音识别与语音合成、机器翻译与机器辅助翻译、信息检索与信息提取、专业术语提取与术语定义自动生成、文本分类与聚类、自动文摘与文献述评、词典计算机辅助编纂等等。计算语言学倾向于理论研究,为自然语言处理系统提供理论模型、实现算法和工程方案。因此,我们可以说计算语言学是自然语言处理的理论基础,而自然语言处理则是计算语言学的实践延伸和检验途径(俞士汶,2009:34-39)。 　　1.2 自然语言处理的主要研究内容 　　自然语言处理的研究目标是要实现人用自然语言与计算机交流,譬如,让计算机“听懂”人的语音、将语音流转写为文本,帮助人将一种语言翻译为另一种语言,根据人提出的查询问题找到相关的信息或答案等等,也就是完成前面提到的语音识别、机器翻译、信息检索等任务。 　　自然语言的复杂性是不言而喻的,它可以表现为词法、句法、语义、语用上的各种变化。作为一种接受输入、处理数据、产生输出的装置,计算机能“理解”的并不是复杂的自然语言本身,而是自然语言的形式化描述,因此,我们首先需要将语言中包含的词法、句法、语义、语用等多方面信息通过形式化的描述来传递给计算机。语言的形式化描述可以是显性的,采用形式语法、自动机、特征结构、集合等形式,以词典和规则为表达手段。语言的形式化描述也可以是隐性的,用语料库来承载真实的语言应用,通过概率分布、概率统计模型来传递语言信息(俞士汶等,2006:3-11)。 　　在形式化描述的基础上,计算机开始按既定的步骤来“理解”自然语言,完成各种具体的应用目标。这些步骤在计算机科学中称为“算法”,自然语言处理中的算法有基于语言学知识的规则法,也有基于语料库知识的统计法,而近年来规则法与统计法的结合更取得了前所未有的成果。 　　1.3 自然语言处理的研究成果及应用 　　从20世纪40年代起发展至今,自然语言处理研究在基础理论、关键技术、语言资源、应用系统等方面已经有了丰富的积累。早期的自然语言处理主要依赖匹配技术,譬如最初的机器翻译通过逐词匹配词典来构造译文。70至80年代,词法分析、句法分析、语义分析等关键技术发展起来,研究者对语言现象本身的观察更为深入和全面,而计算机科学、数学等学科