“逐鹿”Alpha专题报告(二十五)：DeepSeekRAG行业轮动策略.pptxVIP

发布日期：2025年2月25日

本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。请务必阅读正文之后的免责条款和声明。;;

核心观点

在先前的报告中，我们曾探讨了利用大语言模型（LLM）进行市场与行业分析，并取得了令人满意的成果。

当时所采用的模型为DeepSeek-V2和Qwen-Max。由于当时缺乏专门的推理模型（reasoningmodel），因此需要人工构建思维链（Chain-of-Thought,CoT）或提示词（BucketPrompts）以辅助分析。

随着DeepSeek-R1推理模型的问世，我们得以借助其内置的推理能力，更高效地整合和利用相关信息进行深度分析，从而生成更为精准的预测结果。

本文借助DeepSeek-R1模型，对新闻报道、研究报告以及技术指标等文本数据进行了系统分析，借助RAG以及自我反省（self-reflection）技术，以此构建了DeepSeek推荐行业策略。回测结果表明，DeepSeek-R1所推荐行业的投资组合展现出显著的超额收益。;;

Model;

Multi-HeadLatentAttention(MLA)通过低秩联合压缩技术，显著减少了推理时的键值缓存和训练时的激活内存，同时保持了与标准多头注意力机制相当的性能。MLA的核心在于对键、值和查询矩阵进行低秩压缩，并通过旋转位置编码引入位置信息，从而在高效推理的同时捕捉输入序列中的复杂特征。

MOE（MixtureofExperts，专家混合）旨在通过多个专家（Experts）模型的协同工作来提高计算效率和模型性能。在MOE结构中，不是所有的专家都参与计算，而是通过一个门控机制来选择少数几个专家进行推理或训练;

纯强化学习方案（DeepSeek-R1-Zero）存在结果可读性差、语言混合等问题

基于DeepSeek-V3-Base，使用少量的标记文本（数千个）进行冷启动SFT（DeepSeek-R1）数据格式:|special_token|reasoning_process|special_token|summary

reasoning_process为CoT推理过程

summary为最终推理结果

DeepSeek-R1在后续RL训练中引入了语言一致性奖励（V2,V2.5时存在中英混杂的问题）;

利用GroupRelativePolicyOptimization(GRPO)进行训练。

奖励函数：

?准确性奖励:准确性奖励模型评估响应是否正确。例如，在具有确定结果的数学问题中，模型需要以指定的格式（例如，在框内）提供最终答案，从而能够可靠地通过基于规则的验证来检查正确性。同样，对于LeetCode问题，可以使用编译器根据预定义的测试用例生成反馈。

?格式奖励:除了准确性奖励模型，还采用了一种格式奖励模型，它强制模型将思考过程放在think和/think标签之间;

当面向推理的RL收敛时，利用模型生成后续轮的SFT数据，这一阶段包括来自其他领域的数据，以增强模型在写作、角色扮演和其他通用任务中的能力。

推理数据：60万

非推理数据：20万

最后，为了进一步使模型与人类偏好保持一致，DeepSeek实施了一个次级强化学习阶段，旨在提高模型的帮助性和无害性，同时完善其推理能力。;

PAP7?

RAG;

技术指标囊括了短期动量、中期动量、MACD（异同移动平均线）、RSI（相对强弱指数），以及布林带等技术指标

研报数据采用东方财富网发布的策略研究报告摘要，摘要格式统一、篇幅适中，有效规避了冗长文本处理的问题

新闻数据集采用聚源新闻数据库，汇聚了来自主流财经网站的新闻资源，涵盖了超过500,000条精心筛选的财经新闻文章。包含了市场动态、宏观经济指标、公司业绩等多方面的关键信息。经过清洗，切分,embedding之后存入向量数据库。;

财经新闻数据是金融市场分析和决策的重要基础，提供了市场动态、宏观经济指标、公司业绩等多方面的关

键信息。

本研究利用2023年以后聚源数据汇总的各大财经媒体发布的新闻数据。

数据集总计包含超过50万条新闻样本，日均新闻样本数量的中位数达到1061条。就单条新闻的字段长度而言，中位数为519字，平均值为826字；最长的新闻报道包含超过10万字，而最短的仅含11字;;

数据接口：Langchain提供了一系列数据加载工具，包括WEB、PDF、JSON、CSV等各种结构和非结构化数

据

数