黄非-大模型驱动的智能软件开发.pdfVIP

大模型驱动的智能软件开发

黄非阿里巴巴

1.大模型应用范式

目录2.AI驱动的全流程软件开发

CONTENTS3.代码助手的技术挑战和解决方案

4.从代码助手到软件开发智能体

5.总结与展望

演讲嘉宾

黄非

阿里巴巴通义实验室自然语言智能负责人

他带领自然语言处理团队研发通义自然语言大模型体系，在机器

阅读理解(MRC），图文问答（VQA）和中文理解（CLUE）等

任务上实现首次超越人类结果；建设阿里巴巴NLP平台和产品在

集团内支持数百个场景日均数万亿级调用，对外以智能技术赋能

软件开发，智能客服，协同办公，司法，电商等行业合作伙伴，

是AI开源魔搭社区NLP模型的主要贡献者。他在人工智能顶级会

议和期刊发表文章200+篇，中美专利数十项，曾担任ACL，

TACL等学术期刊，会议领域主席/编辑等。

PART01

大模型应用范式

范式1：领域增强

通用大模型到行业大模型：领域继续训练（CPT），领域微调（SFT）

指令微调

生成式预训练（贴合行业场景）

通用大模型

2

海量领域语料1奖励模型基于对话的生成式

无监督继续训练预训练行业大模型

迭代3

生成式预训练

行业大模型强化学习（RL），PPO

范式2：检索增强(RAG)

AgenticRAG：实时性知识，事实性知识,本地知识库搜索，减少大模型幻觉

范式3：多模态

玩转聊天大模型

Astopsignwithastickerthat2023财年二氧化碳净排放量同AlibabaInternationalDigital来自超60个国家和地区本文以通义千问大模型

sayseatinganimals.比减少12.9%CommerceGroup

（qwen-turbo）为例…