全文可编辑-Alpha专题分析报告：DeepSeek+RAG行业轮动策略.pptxVIP

证券研究报告?金融工程专题报告“逐鹿”Alpha专题报告（二十五）：DeepSeek+RAG行业轮动策略发布日期：2025年2月25日

提纲DeepSeekRAG0203结果分析

核心观点在先前的报告中，我们曾探讨了利用大语言模型（LLM）进行市场与行业分析，并取得了令人满意的成果。当时所采用的模型为DeepSeek-V2和Qwen-Max。由于当时缺乏专门的推理模型（reasoningmodel），因此需要人工构建思维链（Chain-of-Thought,CoT）或提示词（BucketPrompts）以辅助分析。随着DeepSeek-R1推理模型的问世，我们得以借助其内置的推理能力，更高效地整合和利用相关信息进行深度分析，从而生成更为精准的预测结果。本文借助DeepSeek-R1模型，对新闻报道、研究报告以及技术指标等文本数据进行了系统分析，借助RAG以及自我反省（self-reflection）技术，以此构建了DeepSeek推荐行业策略。回测结果表明，DeepSeek-R1所推荐行业的投资组合展现出显著的超额收益。

DeepSeek-R1：强大的推理能力#ActivatedParamsContextLengthModel#TotalParams671BDownloadDeepSeek-R1-Zero珞37B37B128K128KHuggingFace珞DeepSeek-R1671BHuggingFaceDeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAIo1正式版。资料：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning,中信建投

PretraingMulti-HeadLatentAttention(MLA)通过低秩联合压缩技术，显著减少了推理时的键值缓存和训练时的激活内存，同时保持了与标准多头注意力机制相当的性能。MLA的核心在于对键、值和查询矩阵进行低秩压缩，并通过旋转位置编码引入位置信息，从而在高效推理的同时捕捉输入序列中的复杂特征。MOE（MixtureofExperts，专家混合）旨在通过多个专家（Experts）模型的协同工作来提高计算效率和模型性能。在MOE结构中，不是所有的专家都参与计算，而是通过一个门控机制来选择少数几个专家进行推理或训练资料：DeepSeek-V2:AStrong,Economical,andEfficientMixture-of-ExpertsLanguageModel,中信建投

ColdStartSFT纯强化学习方案（DeepSeek-R1-Zero）存在结果可读性差、语言混合等问题基于DeepSeek-V3-Base，使用少量的标记文本（数千个）进行冷启动SFT（DeepSeek-R1）数据格式:|special_token|reasoning_process|special_token|summaryreasoning_process为CoT推理过程summary为最终推理结果DeepSeek-R1在后续RL训练中引入了语言一致性奖励（V2,V2.5时存在中英混杂的问题）资料：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning，中信建投

Reasoning-orientedReinforcementLearning利用GroupRelativePolicyOptimization(GRPO)进行训练。奖励函数：?准确性奖励:准确性奖励模型评估响应是否正确。例如，在具有确定结果的数学问题中，模型需要以指定的格式（例如，在框内）提供最终答案，从而能够可靠地通过基于规则的验证来检查正确性。同样，对于LeetCode问题，可以使用编译器根据预定义的测试用例生成反馈。?格式奖励:除了准确性奖励模型，还采用了一种格式奖励模型，它强制模型将思考过程放在think和/think标签之间资料：DeepSeek-R1:IncentivizingReasoningCapabilityinLLMsviaReinforcementLearning,中信建投

RejectionSampling，SupervisedFine-TuningandReinforcementLearningforallScenarios当面向推理的RL收敛