通信行业市场前景及投资研究报告：开源竞速，AI大模型的“Linux时刻”.pdfVIP

证券研究报告|行业深度 2023 年05 月31 日 通信 开源竞速：AI 大模型的 “Linux 时刻”降临 ChatGPT 发布后不久，Meta 就开源了类GPT 大语言模型LLaMA，此后， 增持 （维持） Alpaca 、Vicuna 、Koala 等多个大模型诞生，它们以远低于ChatGPT 的模 型规模和成本，实现了令人瞩目的性能，引发业内人士担忧“谷歌和 OpenAI 都没有护城河，大模型门槛正被开源踏破，不合作就会被取代”。 行业走势 资本市场也在关注大模型未来竞争格局如何，模型小了是否不再需要大量 算力，数据在其中又扮演了什么角色？……本报告试图分析这波开源大语 通信 沪深300 64% 言模型风潮的共同点，回顾开源标杆Linux 的发展史，回答这些问题。 48% 共同点一：始于开源。开源≠免费，开源的商业模式至少包括：1、靠服 32% 务变现。曾上市、后被IBM 收购的Linux 企业服务公司红帽即是一例。企 16% 业为了更稳定和及时的技术支持，愿意付费。2、靠授权费变现。安卓开 0% 源，但谷歌向欧盟使用安卓谷歌套件的厂商收取许可费即是一例。3、许 可证、标准和能力评价体系的发展，是开源大模型商用程度深化的催化剂。 -16% 2022-05 2022-09 2023-01 2023-05 这波开源大模型采用的许可证协议主要是Apache 2.0 和MIT，它们不禁 止商用，并且不禁止用户修改模型后闭源，这有助于公司应用此类大模型。 共同点二：参数少、小型化。相较于GPT3+千亿参数超大模型，这波开源 大模型的参数量普遍在十亿至百亿级别。目前尚没有一套系统的大模型性 能评价体系，其中仅部分任务有公信力较强的评分标准。开源大模型中， Vicuna 的能力也较强，在部分任务能达到92% GPT4 的效果。总体来说， OpenAI GPT 系仍一骑绝尘，但训练成本高，难复现。而开源大模型借助 更大标识符训练数据集、DeepSpeed、RLHF 等方式，实现低训练成本和 高性能，超大模型以下大模型的壁垒正在消失。 共同点三：数据集重视人类指令，并走向商用。ChatGPT 相较于GPT3 效 相关研究 果大幅提升的重要因素是使用了 RLHF （基于人类反馈的强化学习），即 1、《通信：海外AI 算力的新看点》2023-05-28 在训练中，使用人类生成的答案和对AI 生成内容的排序，来让AI “对齐” 2、《通信：边缘计算——始于AI ，赋能应用》2023-05- 人类偏好。LLaMA 没有使用指令微调，但LLaMA 之后的大量大模型使用 并开源了指令数据集，并且逐步探索自建指令数据集，而非使用有商用限 21 制的OpenAI 的，进一步降低了复现GPT 的门槛，扩展了商用可用性。 3、《通信：算力为王，中心、边缘齐发力》2023-05-21 接下来怎么看开源大模型？站在开源大模型浪潮中，我们注意到两个趋 势：1 ）与多模态融合，清华大学的VisualGLM-6B 即是著名开源语言模型 ChatGLM 的多模态升级版，我们认为，其可基于消费级显卡在本地部署的 特性是大势所趋。2 ）开源模型+边缘计算推动AI 商用落地，哈尔滨大学 的中文医疗问诊模型“华驼”以及在跨境电商的使用就是案例。 投资