互联网背景下的计算语言学研究.pdfVIP

互联网背景下的计算语言学研究 王海峰, 赵世奇 (百度, 北京 100085) 摘要：近年来，计算语言学（Computational Linguistics: CL ）在学术界和工业界均得到 了越来越多的关注，这主要得益于其在互联网领域越来越广泛的应用，如搜索引擎、在线翻 译系统、社交网络等。计算语言学的很多技术在互联网应用中都能找到用武之地。这其中既 包括词法、句法、语义等基础技术，也包括问答、翻译、文摘等应用技术。面对海量、高噪 声的互联网数据及真实互联网应用需求，计算语言学技术也需要进行调整与改进。本文将主 要讨论在互联网大背景下的计算语言学研究，包括新应用、新资源、新挑战，以及新方法等。 关键词：计算语言学;互联网应用;互联网资源 Computational Linguistics in the Internet Age Haifeng WANG and Shiqi ZHAO (Baidu, Beijing 100085) Abstract: Computational Linguistics (CL) has attracted more and more interest in both academic and industry communities in recent years, since it plays an essential role in many Internet applications, including search engines, online translation systems, social networks, and so forth. Almost all CL techniques, ranging from morphological, syntactic, and semantic analysis of texts, to question answering, machine translation, summarization, and other complex techniques, can find their scopes in the Internet applications. However, conventional methodologies in CL research need to be adapted and improved, so as to deal with new challenges arise from the new application requirements as well as the large-scale and highly noisy web corpora. In this paper, we discuss the CL research in the background of Internet, including the new applications, resources, challenges, and methodologies. Keywords: computational linguistics; internet applications; internet resources 引言 计算语言学（Computational Linguistics: CL ）是语言学与计算机科学的交叉学科，是指 使用计算机建立形式化的数学模型，来分析和处理自然语言，因而又叫自然语言处理（Natural Language Processing: NLP ）。计算语言学的研究始于上世纪50 年代，滥觞于机器翻译研究。 随着时代的发展，计算语言学研究也先后历经了几个重要阶段，包括基于简单字词匹配的阶 段、基于语言学知识与规则的阶段，以及基于大规模数据统计的阶段。进入新世纪以来，随 着互联网的迅猛发展以及在人们生活中的快速普及，尤其是搜索引擎技术与产品的异军突 起，计算语言学研究在实际应用中的重要性日益提升。互联网应用带给计算语言学研究的最 主要变化是要处理海量的互联网真实数据，这一变化使得传统的计算语言学研究必须调整研 究问题和研究思