2024交互型多模态大模型研究进展、应用前景以及商业模式分析报告.docx

2024年深度行业分析研究报告

内容目录

一、什么是交互型多模态大模型？ 4

1.1交互型多模态大模型应具备什么特点？ 4

1.2交互型多模态大模型成本将降至几何？ 8

二、交互型多模态大模型进展如何？ 10

2.1海外：OpenAI与谷歌双巨头抢滩 10

2.2国内：大模型多处于语音交互阶段，商汤智谱领衔升级视频交互功能 11

三、为什么交互型多模态大模型有望带来应用的爆发？ 14

3.1视觉是获取外部信息最主要的途径，多模态更符合人类感知的方式 14

3.2应用发展的核心就是人机交互模式的升级 15

四、交互型多模态大模型会带来怎样的应用？ 19

4.1交互型多模态大模型在“数字智能”中的应用 19

4.1.1教育 19

4.1.2编程 22

4.1.3医疗健康 23

4.1.4办公 25

4.1.5游戏 26

4.1.6情感陪伴 28

4.2交互型多模态大模型在“具身智能”领域应用 29

4.2.1人形机器人 29

4.2.2智能座舱 30

4.2.3智能家居 32

五、交互型多模态大模型未来形态 35

5.1交互先行，端侧AI发展有望加速 35

5.2交互型多模态大模型商业模式 36

六、相关标的梳理 38

图表目录

图1：GPT-4o能听出用户呼吸急促，并将其形象比喻成吸尘器，然后给出建议 4

图2：用户写字表白，GPT-4o能快速识别字迹并高兴地感谢用户，输出时语气带着笑意 4

图3：过去ChatGPT实现语音互动的三个步骤 5

图4：谷歌Gemini具有原生多模态特性 5

图5：Gemini多模态能力使用案例 5

图6：Chameleon的模型结构与训练方法 6

图7：GPT-4o响应速度提升 7

图8：GPT-4o与人交流时会开一些合理的玩笑，如它会说“我今天要请客了” 7

图9：ProjectAstra记住了曾经“看”到过的眼镜和苹果 8

图10：OpenAI大模型的降本历程 9

图11：GPT-4omini在基准测试中表现较好 9

图12：GPT-4omini具有高性价比 9

图13：GPT-4o新版本价格相比3个月前下降超40% 10

图14：GPT-4o在多语言识别方面与Whisper-v3对比 10

图15：GPT4o音频翻译基准测试表现 10

图16：GPT-4o发布后ChatGPT移动端APP的收入高增 11

图17：谷歌展示AI智能体项目ProjectAstra 11

图18：日日新5.5核心指标 12

图19：日日新5o识别小狗玩偶 12

图20：日日新5o分析建筑环境及天气 12

图21：日日新5o识别书籍并提供更多信息 13

图22：日日新5o识别绘制的简笔画表情并分析情绪 13

图23：用户可以用清言APP视频通话功能和AI玩“你画我猜”的游戏 13

图24：清言APP视频通话功能可以辅助用户读论文 13

图25：国内大模型聊天助手语音交互界面 14

图26：多模态更符合人类与外界交互的方式 15

图27：人机交互过程 16

图28：人机交互的变革 17

图29：人机交互将向最简单的形态发展 18

图30：现代教育的特征与AIGC技术吻合 19

图31：大模型拓展了AI技术在教育领域的应用场景 20

图32：Duolingomax功能 20

图33：GPT-4o在KhanAcademy上完成数学题辅导 21

图34：GPT4o通过视频完成数学问题辅导 21

图35：GPT-4o识别物体并输出西班牙语 21

图36：GPT4o模拟面试 21

图37：AGI完全体与教育畅想 22

图38：GPT4o代码能力演示 23

图39：远程协作平台Multi 23

图40：GPT-4o与Bemyeyes结合为盲人提供实时助手 24

图41：AIGC贯穿医疗全流程 25

图42：GPT4o当会议助手 26

图