详解DeepSeek： 模型训练、优化及数据处理的技术精髓-km.pdf

DeepSeek是什么

DeepSeek是杭州深度求索人工智能基础技术研究有限公司推出的一款创新大语言模型。公司成立于2023年7月17日，由知

堂

名私募巨头幻方量化孕育而生。DeepSeek致力于开发和应用先进的大语言模型技术

学

知

深度小助手聪明且低成本聪明强大能干中国本土AI

乎堂

知学

知

乎堂

知学

知

乎

深度思考知联网搜索

DeepSeek：大语言模型的特点有哪些

堂

模型训练无自我认识上下文长度限定回答输出

内容token化学

存在endtime无自我意识记忆力有限长度有限

知

大模型看到的世界与人大模型训练语料存在一网上有个段子是“有人AI大模型目前的记忆AI大模型目前的回答

看到的不太一样个截止时间乎问deepseek你是谁，力大概是64k~128k4k~8k，2000~4000字

知然后回答是gpt”堂

训练前需要将文本进行处deepseekR1虽然是25年1目前AI大模型均有上下文目前AI大模型无法一次性

理，比如切割称为Token月发布，但它的知识库截学长度限定；deepseekr1完成万字长文，也无法一

目前AI大模型不知道自己

的基本单元；比如问ai一止日期是2023年12月，这是谁，也不知道自己是采提供64ktoken上下文长次性输出5千字，均是模型

个英文单词illegal中有几就意味着ds可以提供在此用什么模型。除非是厂商度，对应中文的话大约3万输出长度限制所致；如果

知

个字母l，有些指令模型回日期发布之前的公开信息在后期再微调、或再训练，~4万字。目前还不能一次是输出长文，可以尝试先

答为2个；和常识；需要经过大量清如果大家问到类似的问题，性投喂太长的文档给它，让AI大模型先生成一个目

乎

洗、监督微调、反馈强化可能目前的AI大模型会回比如：一本完成西游记、录，然后再根据目录输出

堂

但deepseekr1推理模学习。但对于之后的新闻、答错误。或者非常长的文档让它翻对应模块；如果是长文翻

型是可以回答正确！事件变化、新事物