自然语言处理研究综述.pdfVIP

新疆师范大学学报（哲学社会科学版）第46卷第2期2025年3月

JournalofXinjiangNormalUniversity（PhilosophyandSocialSciences）Vol.46No.2Mar.2025

自然语言处理研究综述

赵铁军 许木璠 陈安东 

（哈尔滨工业大学计算学部，黑龙江哈尔滨150001）

摘 要：近年来，自然语言处理因在分析与建模人类语言任务领域取得诸多成果而备受关注。当前，大规模

预训练语言模型展现出强大的对话问答和文本生成能力，带来自然语言处理研究的新一轮热潮。自然语言处理在

机器翻译、文本摘要、信息抽取等领域应用广泛。文本首先讨论自然语言处理针对语言学四个不同层次文本信息

的分析手段，对自然语言处理的基本任务组成进行概述；其次，讨论自然语言处理在具体下游任务中的应用现状，

包括自然语言处理在具体任务中的应用历史、当前的研究趋势以及面临的挑战；最后，在大规模预训练语言模型

研究对数据集提出更高要求的背景下，对自然语言处理领域已有的数据集及评测基准集等进行讨论。

关键词：自然语言处理；句法分析；语义分析；机器翻译；问答系统；信息抽取

中图分类号：TP391.1文献标识码：A文章编号：1005-9245（2025）02-0089-23

一、引 言被组合并用于传递信息。并非所有用户都精通特定

机器语言，自然语言处理为没有足够时间学习新语

自然语言处理（NaturalLanguageProcessing，言或掌握它的用户提供服务。自然语言处理可分为

NLP）是计算机科学、人工智能和语言学等学科交自然语言理解和自然语言生成两部分，分别对应理

叉的前沿领域，目标是让计算机能够理解、处理和解文本和生成文本的任务。自然语言处理与语言学

生成自然语言，使计算机具有类似人类的语言交互紧密相关，语言学包括音韵学，即声音；词汇学，

和文本理解能力。自然语言处理技术的应用范围广即词形成句；语法学，即句子结构；语义学，即语

泛，包括机器翻译、智能客服、智能搜索、自动文法语用；语用学，即理解。自然语言生成是产生有

摘、情感分析、语音识别、问答系统，等等。近年意义的短语、句子和段落的过程。自然语言处理的

来，自然语言处理领域取得了巨大进展，主要得益主要目标是使计算机能理解和使用自然语言，从而

于深度学习技术的发展以及互联网海量的文本数为用户提供更好的交互体验和更高效的工作方式。

据。深度学习技术在自然语言处理领域的应用涉及大规模预训练语言模型又称为大语言模型

词向量表示、语言模型、机器翻译、文本分类、命（LargeLanguageModels，LLMs），自2018年起，

名实体识别等任务。此外，随着开源软件的不断其为自然语言处理领域带来了新的机遇和挑战。使

涌现，例如，TensorFlow、PyTorch等，使研究人用“预训练大模型+微调大模型”的学习范式几乎

员和开发者能更便利地实现和部署自然语言处理可在所有自然语言处理任务中取得领先效果，研究

算法。者只需用大规模预训练语言模型在下游任务标注数

语言可定义为一组规则或符号集，其中，符号据集上进行微调，即可获得较好的任务性能。2022

收稿日期：2023-06-23

基金项目：本文系国家自然科学基金联合基金项目“人机协同翻译方法及关键技术研究”（U1908216）的阶段性成果。

作者简介：赵铁军，哈尔滨工业大学计算学部二级教授、博士生导师；许木璠，哈尔滨工业大学计算学部博士研究生；陈安东，哈尔滨

工业大学计算学部博士研究生。

··中宣部首批“哲学社会科学期刊重点专栏”：元宇宙与数字经济研究（六）

90

年底，横空出世的ChatGPT使自然语言处理任务于句法分析和依存关系识别，语义知识可用于词义

以更加便捷的形