面向互联网的计算语言学研究1.pdfVIP

第 1卷 第 1期 智 能 计 算 机 与 应 用 V01．1 NO．1 2011年 6月 INTELLIGENT COM PUTER AND APPLICAT10NS Jun．201l 面向互联网的计算语言学研究 王海峰，赵世奇 f百度公司，北京 100085) 摘 要 ：近年来，计算语言学(ComputationalLinguistics：CL)在学术界和S-业界均得到了越来越多的关注，这主要得益于其在互联网领域 越来越广泛的应用，如搜索引擎、在线翻译系统、社交网络等。计算语言学的很多技术在互联网应用中都能找到用武之地。这其中既包括词法、 句法、语义等基础技术，也包括问答、翻译、文摘等应用技术。面对海量、高噪声的互联网数据及真实互联网应用需求，计算语言学技术也需要 进行调整与改进。本文将主要讨论在互联网大背景下的计算语言学研究，包括新应用、新资源、新挑战，以及新方法等。 关键词 ：计算语言学；互联网 中图分类号：TP393．01 文献标识码：A 文章编号：2095—2163(2011)O1—0008—06 ComputationalLinguisticsforW eb W ANG Haifeng，ZHA0 Shiqi (BaiduInc．，Beijing100085，China) Abstract： ComputationalLinguistics(CL1hasattractedmoreandmoreinterestinbothacademicandindustrycommunitiesinrecentyears，sinceit playsallessentialroleinmanyIntemetapplications，includingsearchengines，onlinetrnaslationsystems，socialnetworks，andSOfbnl1．AlmostallCL techniques，rangingrfommorphological，syntactic，nadsemanticanalysisoftexts，toquestionna swering，machinetranslation，summarization，andoth— ercomplextechniques，canfindtheirscopesintheInternetapplications．However,conventionalmethodologiesinCLresearchneedtobeadaptedand improved． SOastodealwithnew challengesraisingrfom thenew applicationrequirementsaswellasthelarge—scaleandhighlynoisywebcorpora． ThispaperdiscusseshteCLresearchinthebackgroundofInteract，includingthenew applications，resources，challengesandmethodologies． Keywords：CompuattionalLinguistics；Web 0 引言 用了计算语言学技术。计算语言学技术在这一领域的应用 计算语言学 (ComputationalLinguistics：CL)是语言学 可以概括为两点，即 “面向需求搜索信息”以及 “利用信息 与计算机科学的交叉学科，是指使用计算机建立形式化的 生成知识”。其中，前者 旨在从海量网络信息中搜索出满足 数学模型，来分析和处理 自然语言，因而又叫自然语言处理 用户需求的特定信息；后者则致力于对搜索到的信息进行 (NaturalIJanglJageProcessing：NLP)。计算语言学的研究 深