大模型评测与优化策略分析.pdf

大模型(LLMs)评测面

来自:AiGC面试宝典

1大模型怎么评测?

当前superGLUE,GLUE,包括中文的CLUE的benchmark都在不太合适评估大模型。可能评估推理能力、多轮对

话能力是。

2大模型的honest原则是如何实现的?模型如何判断回答的知识是训练过的已知的知识,怎么训练这种能力?

大模型需要遵循的helpful,honest,harms的原则。

可以有意构造如下的训练样本,以提升模型准守honest原则,可以算trick了:

微调时构造知识问答类训练集,给出不知道的不回答,加强honest原则

文档评论(0)

1亿VIP精品文档

相关文档