原创力文档2025-2026学年北京市通州区高二（下）期末语文试卷
一、本大题共18分。
1．阅读下面材料，完成各题。
材料一
“词元”（Tokn）是大模型处理信息的最小信息单元。无论是用户的一次输入，还是人工智能（AI）生成的文本或代码，均需被拆
解为词元，才能完成模型内部的计算与推理。该概念源自20世纪初语言学中的typ-tokn区分，后被引入计算语言学和自然语言处理
领域，逐渐发展为现代文本计算与模型训练的基础单位。在中文语境中，将Tok
您可能关注的文档
- 高中语文 2025-2026学年江西省赣州市高二（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年安徽省芜湖市某中学高二（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年天津市和平区某中学高二（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年山东省济南市高二（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年山东省济南市高一（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年四川省广安市高一（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年湖北省部分省级示范高中高一（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年重庆市高一（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年江苏省连云港市高二（下）期末语文试卷附解答.pdf
- 高中语文 2025-2026学年河北省石家庄市部分校高二（下）期末语文试卷附解答.pdf
文档评论（0）