Databricks公司开源1320亿参数DBRX模型，目前性能最领先的MoE架构大模型.docx

目录

一、行业变化 1

大数据人工智能公司Databricks开源通用大模型DBRX 1

Databricks发布的DBRX模型与其他公司大模型的功能性对比 1

Databricks发布的DBRX模型的训练与推理效率 5

二、持续关注标的 6

三、行情回顾 7

四、产业要闻 10

五、重要公告 12

六、风险提示 13

图表目录

图表1：Databricks官网的开源DBRX模型用户注册界面 1

图表2：DBRX模型与其他开源AI大模型在语言理解、编程、数学三个方面的能力对比 2

图表3：DBRX在不同基准下与其他开源大模型的能力对比 3

图表4：DBRX与其他闭源大模型的性能基准对比 4

图表5：DBRX与其他模型的长上下文基准测试比较 4

图表6：DBRX在两个RAG基准（NaturalQuestions和HotPotQA）上的质量对比 5

图表7：Gemini1.5Pro上下文窗口方面与其他模型对比 5

图表8：DBRX推理效率对比 6

图表10：人工智能（中证）个股周涨幅前十名（%） 7

图表11：人工智能（中证）个股周涨幅后十名（%） 7

图表12：重点公司股票涨跌详情（盈利预测均为Wind一致预测） 8

请务必阅读正文之后的免责条款和声明。

一、行业变化

大数据人工智能公司Databricks开源通用大模型DBRX

3月27日，Databricks公司宣布开源通用大模型DBRX（图表1），在综合所有的大模型评价标准后，DBRX无疑是目前表现质量最高的开源大模型之一，Databricks公司树立了一个新的开源大模型行业标杆。同时，DBRX模型还开放了API的使用，开源社区与企业们可以自己去运行和调用DBRX。根据Databricks公司自身公布的测评结果，DBRX模型超越了OpenAI的GPT-3.5，可以和Gemini1.0Pro相竞争。除此之外，DBRX还是一个在代码生成领域表现尤其优秀的模型，它在编程方面的能力超过了例如CodeLLaMA-70B此类的一些专注于编程领域的大模型。

图表1：Databricks官网的开源DBRX模型用户注册界面

资料来源：Databricks官网，

根据Databricks官网，DBRX是一个基于transformer的Decoder-Only大语言模型。DBRX共有1320亿参数，其中360亿参数在面临输入时时刻保持活跃状态，剩余的980亿参数则为专家混合层。DBRX模型采用了专家混合模型（MoE）架构，由12T文本和代码数据预训练而成。

更细粒度的MoE:对比其他开源的MoE架构大模型，例如Mixtral和Grok-1，DBRX更加具有细粒度，这代表它使用了更多的小型专家模型。DBRX从16个专家模型中选择4个，而类似Mixtral和Grok-1则从8个专家模型中选择两个。这额外提供了65倍可能的专家模型组合，Databricks公司表示这种变化提升了模型的质量。此外，DBRX还使用了tiktoken存储库中提供的GPT-4分词器。

Databricks发布的DBRX模型与其他公司大模型的功能性对比

在本周三DBRX模型正式开源后，Databricks公司官网也可查询到公司发布的DBRX模型与其他公司

行业动态报告

（Meta、MixtralAI、xAI等）的大模型性能对比。图表2中直观的呈现了在语言理解，编程，数学三个方面DBRX模型比起其他开源大模型更为强大的能力。另外，官网不仅公布了DBRX与其他开源大模型的性能对比，还公布了DBRX与一些闭源大模型的能力对比。

图表2：DBRX模型与其他开源AI大模型在语言理解、编程、数学三个方面的能力对比

资料来源：Databricks官网，

图表3详细显示了DBRX和其他公司的开源大模型在不同应用领域的比较结果。从图表3可以看出，DBRX的指导分数在综合基准、编程与数学能力、MMLU三个方面表现优越。综合基准方面，DBRX在theHuggingFaceOpenLLMLeaderboard（ARC-Challenge、HellaSwag、MMLU、TruthfulQA、WinoGrande和GSM8k的平均值）和DatabricksModelGauntlet（包含世界知识，语言理解，典型问题解决等6个领域的30个任务维度）。