OpenAI介绍可扩展的，与任务无关的的自然语言处理（NLP）系统.docVIP

OpenAI介绍可扩展的，与任务无关的的自然语言处理（NLP）系统 　　近日，OpenAI 在其官方博客发文介绍了他们最新的自然语言处理（NLP）系统。这个系统是可扩展的、与任务无关的，并且在一系列不同的 NLP 任务中都取得了亮眼的成绩。但该方法在计算需求等方面仍存在改进的空间。下面我们来看他们的博文： 　　我们即将发布一个可扩展的，与任务无关的自然语言处理系统，该系统在一系列不同的语言任务上都取得了目前最先进的成绩。我们的方法结合了两种现有的 NLP 网络架构：Transformer 和无监督预训练。大量任务数据集上的测试结果表明，这种方法将监督学习方法与无监督预训练结合得非常好；当然，这也是之前许多人在探索的想法。我们希望我们的工作能够激发该方向进一步的研究，并鼓励大家将这一想法应用到更大更多的不同数据集上。 　　先看结果： 　　 　　我们的系统的工作流程分为两个阶段：首先，以无监督的方式在大量数据上训练一个 Transformer 模型——使用语言建模作为训练信号——然后，在小得多的监督数据集上对这个模型进行 fine-tuning，以帮助它解决特定的任务。这项研究是建立在我们之前一项关于情绪神经元（Sentiment Neuron）的工作基础之上的，在那项工作中我们注意到，当训练数据足够多时，无监督学习技术可以产生惊人的判别性特征。 　　在本项研究工作中，我们这个想法进行