详解DeepSeek： 模型训练、优化及数据处理的技术精髓.pptxVIP

DeepSeek是什么DeepSeek是杭州深度求索人工智能基础技术研究有限公司推出的一款创新大语言模型。公司成立于2023年7月17日，由知名私募巨头幻方量化孕育而生。DeepSeek致力于开发和应用先进的大语言模型技术深度小助手聪明且低成本聪明强大能干中国本土AI深度思考联网搜索

DeepSeek：大语言模型的特点有哪些?模型训练无自我认识无自我意识上下文长度限定记忆力有限回答输出长度有限内容token化存在endtime大模型看到的世界与人看到的不太一样大模型训练语料存在一个截止时间网上有个段子是“有人问deepseek你是谁，然后回答是gpt”AI大模型目前的记忆力大概是64k~128kAI大模型目前的回答4k~8k，2000~4000字训练前需要将文本进行处理，比如切割称为Token的基本单元；比如问ai一个英文单词illegal中有几个字母l，有些指令模型回答为2个；deepseekR1虽然是25年1月发布，但它的知识库截止日期是2023年12月，这就意味着ds可以提供在此日期发布之前的公开信息和常识；需要经过大量清洗、监督微调、反馈强化学习。但对于之后的新闻、事件变化、新事物则无法直接获取或验证。目前AI大模型均有上下文长度限定；deepseekr1提供64ktoken上下文长度，对应中文的话大约3万~4万字。目前还不能一次性投