考试名称基础第单元理论题附有答案.docxVIP

考试名称NLP基础第4单元理论题[复制]

下列几个预训练模型中，哪个使用了LSTM[单选题]*

BERT

GPT

GPT-2

ELMO(正确答案)

Transformer的模型结构是__?[单选题]*

编解码模型(正确答案)

预训练模型

语言模型

以上都是

Transformer使用了__机制，使它的特征提取效果很好[单选题]*

word2vec

ELMO

Attention(正确答案)

one-hot

每个Transformer编码器中的第一层是__?[单选题]*

前馈神经网络(正确答案)

Attention

Self-Attention

不确定

__可以计算出词的重要度[