金融大模型应用评测报告摘要版（2024）.pdf

金融大模型应用评测报告

摘要版

（2024）

上海人工智能实验室

上海财经大学

上海库帕思科技有限公司

二零二四年十二月

为进一步推动金融科技创新应用的落地，切实提升金

融服务的智能化水平，降低企业数字化转型成本，并积极

探索金融垂直领域大模型应用的新理念、新机制和新手段，

上海人工智能实验室和上海财经大学根据上海人工智能协

会和上海金融业联合会共同发布的《金融大模型应用评测

指南》（T/SAIAS019—2024）团标，采用上海库帕思科技

有限公司依照上述团标制定的评测数据集《库帕思金融大

模型评测数据集（2024版）》，形成了《金融大模型应用评

测报告（2024）》。

一、金融大模型应用评测范式

（一）评测对象范围

本次测评对象包括国内外、开闭源、通用基模与金融垂模，

共计14个主流大模型机构的20个模型。评测围绕金融行业

的核心业务需求及大模型在金融场景中的适配性，结合银行、

证券、保险、基金等重点应用场景，形成“模型基础能力”、“金

融安全与价值对齐能力”、“金融风险控制能力”、“金融专业认

知能力”、“金融业务辅助拓展能力”5大测评维度。具体详情

参见表1-1。

表1-1参评模型清单

机构模型类型简介

OpenAIGPT-4o基模GPT-4o是OpenAI推出的

（多模态）高级多模态模型，能够接受包括文

本、音频、图片和视频在内的任意组

合输入，生成文本、音频和图片的任

意组合输出。与现有模型相比，GPT-

4o在视觉和音频理解方面

表现尤其出色。

AnthropicClaude-3.5-基模Claude-3.5-Sonnet是

Sonnet（多模态）Anthropic发布的升级版，在推理、编

码和数学能力方面表现尤其出色。

谷歌Gemini-1.5-pro基模Gemini-1.5-pro是GoogleDeepMind

（多模态）发布的强大多模态模型，可处理各种

推理任务。Gemini-1.5-pro可以一次

处理大量数据，包括2小时的视

频、19小时的音频、6万行代码的

代码库或2,000页的文本。

阶跃星辰/Step-2-16k基模Step-2-16k是阶跃星辰发布的新一代

财跃星辰（语言）混合专家模型（MoE）架构大模型，