- 0
- 0
- 约6.82千字
- 约 18页
- 2026-06-25 发布于四川
- 举报
2026人工智能笔试题及答案
一、单项选择题(共10题,每题3分,共30分)
1.以下激活函数中,能够有效缓解深度神经网络梯度消失问题,且在大模型预训练中应用最广泛的是()
A.SigmoidB.TanhC.ReLUD.SwiGLU
答案:D
解析:Sigmoid和Tanh在输入值绝对值较大时梯度趋近于0,易引发梯度消失;ReLU在输入为负时梯度为0,会存在神经元坏死问题;SwiGLU是谷歌在PaLM模型中提出的激活函数,相比传统ReLU、Swish具有更高的模型表达能力和训练稳定性,当前GPT-4、Llama3等主流大模型均普遍采用,因此选D。
2.Transformer架构中,多头自注意力机制的核心作用是()
A.降低模型参数量B.并行提取不同维度的语义依赖关系
C.加快模型推理速度D.减少训练数据需求
答案:B
解析:多头自注意力将输入特征映射到多个不同的子空间,每个头独立学习不同类型的语义关联(如句法关系、指代关系、逻辑关系等),最终拼接多个头的输出整合特征,能够并行捕捉多维度依赖,因此选B。多头机制不会降低参数量,也不会直接加快推理速度,反而会增加一定计算量,因此A、C错误。
3.大语言模型训练中,以下哪种损失函数是自回归文本生成任务的标准损失()
A.交叉熵损失B.均方误差损失C.铰链损失D.F
您可能关注的文档
最近下载
- 建标 195-2018 自然保护区工程项目建设标准.docx
- 人教版湖南省长沙市2024-2025学年四年级下册期末数学试卷及答案.docx VIP
- JJG 52-2013弹性元件式一般压力表、压力真空表和真空表.pdf
- 2025年百色市三支一扶考试真题.docx VIP
- 新初三第一次家长会课件.pptx VIP
- 2025年人教版七年级下册生物默写小纸条--背诵版.pdf VIP
- 科学二下第一单元 探秘恐龙 单元测试(教科版2026新教材).docx
- 小学体育与健康二年级上学期全套优秀教案.doc VIP
- 绿化养护场地清理方案概要.docx VIP
- 2025年浙江省初中毕业升学考试说明科学版 .pdf VIP
原创力文档

文档评论(0)