- 2
- 0
- 约7.99万字
- 约 80页
- 2023-11-13 发布于江苏
- 举报
ChatGPT 带来大模型时代变革,数据要素重要性提升
ChatGPT 是由 OpenAI 研发的一种语言 AI 模型, 其特点在于使用海量 语料库来生成与人类相似的反应。初代 GPT 模型参数 1.17 亿, GPT2 模型、 GPT3 模型参数分别达到 15 亿、 1750 亿。不断提升的参数量
级,使得 ChatGPT3 当前已经能够应用在商业、研究和开发活动中。
当前此类参数体量庞大的模型,成为各大科技厂商研发重点。大模型的 基础为高质量大数据。 ChatGPT 的前身 GPT-3 就使用了 3,000 亿单
词、超过 40T 的数据。 此类大数据基础的前提为三部分 1)有效场景下
的采集数据; 2) 大数据的存储、 清洗和标注; 3)数据质量检验。
大模型发展之下,算力与网络设施建设成为刚需
算力: ChatGPT 类人工智能需要更充足的算力支持其处理数据, 带来更 多高性能的算力芯片需求。英伟达表示, GPT-3 需要 512 颗 V100 显卡 训练 7 个月, 或者 1024 颗 A100 芯片训练一个月。 2012 年以来, AI 训 练任务中的算力增长(所需算力每 3.5 月翻一倍)已经超越摩尔定律(晶 体管数量每 18 月翻一倍)。
网络设施: 以微软 Azure 为例, 其 AI 基础设施由互联的英伟达 Ampere
您可能关注的文档
- chatGPT下游应用和场景商业化广阔_20221205.pptx
- ChatGPT引起市场热议,关注AIGC技术应用进展.pptx
- dealroom:2022年新前沿——生成式人工智能.pptx
- IDC&浪潮:2022-2023中国人工智能计算力发展评估报告.pptx
- McKinsey:2022年人工智能现状:五年回顾.pptx
- Omdia:中国人工智能框架市场调研报告.pptx
- Open AI开源Chat GPT与Whisper API迎AIGC应用探索.pptx
- StartofAI:2022年人工智能AI报告.pptx
- stateofai:2022人工智能全景报告(英文版).pptx
- 阿里巴巴&中国信通院:人工智能治理与可持续发展实践白皮书.pptx
最近下载
- 2026年湘教版高中地理必修第二册《第二章城镇和乡村》大单元整体教学设计(2022课标).docx VIP
- 降糖保肾1号方治疗早期糖尿病肾病:疗效、机制与展望.docx VIP
- DTⅡ(A)型带式输送机设计计算表.xlsx VIP
- 霍兰德兴趣岛.pptx VIP
- JTG_T 3654-2022 公路装配式混凝土桥梁施工技术规范.docx VIP
- 2025注册消防工程师继续教育考题:消防应急照明和疏散指示系统GB17945-2024.docx VIP
- 二年级数学上册人教版-认识厘米--用厘米量-名师教学课件PPT.ppt VIP
- 托育从业人员职业道德与行为规范.pptx
- 高三政治(全国人教版)复习检测:必修4生活与哲学模块测试(b).docx VIP
- 气象服务在智慧农业与生态环境中的价值探析.docx VIP
原创力文档

文档评论(0)