任务3.3：大模型参数及词元-任务工单.docxVIP

数智素养通识与实践任务工单

第

第PAGE1页共NUMPAGES5页

3.3大模型参数及词元任务工单

一、任务目标

1.理解大模型、参数量、上下文窗口和Token的基本含义，说明它们之间的关系。

2.使用Tokenizer记录输入、输出和总Token。

3.通过temperature对比输出的稳定性与创造性。

4.新增模型选型任务：比较2—3个模型的质量、速度、Token用量和估算成本，提出推荐方案。

二、任务内容

任务1：认识大模型与Token

1.任务学时及要求

（1）任务学时：20分钟

（2）任务要求：使用课程提供的学习网站(https://wangrj562.github.io/llmdemo-wrj/)或在线Tokenizer(同学们可以自己找一个)，观察同一段中英文混合文本的切分结果，理解“一个汉字不一定等于一个Token”。

2.操作步骤

（1）输入短文本并记录Token数；（2）删去标点、加入英文或数字后再次记录；（3）用一句话解释变化原因。

3.填写记录

输入文本/变化

Token数

我的解释

原始文本

11

中文会按词语、偏旁拆分，标点也单独占用token

删去标点

10

删除独立标点，减少了一个单独作为token的符号

加入英文或数字

13

加入英文或数字后，字母、数字通常单独切分，增加token