原创力文档- 1、本文档共10页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
PAGE
PAGE1
XX学院大模型创新应用项目采购需求清单
序号
采购名称
技术参数
单位
数量
1
AI大模型训练与精调实训软件
一、产品要求
AI大模型训练与精调实训软件旨在赋能用户高效地进行大模型的训练与优化调整。软件集成数据集制作、模型知识库、大模型训练、大模型部署、大模型Agent功能模块，为用户提供一个全面且便捷的操作平台。
二、技术参数需求
1.软件采用B/S（Browser/Server）架构，保证系统的可扩展性和可维护性。
2.软件提供开发模块，通过http，websocket等通信协议联动其它硬件或软件，包含了机器人开发模块，RPA应用开发模块，充分发挥大模型的能力。大模型训练架构基于PyTorch，Transformer等框架进行开发，适配主流的开源大模型。
3.数据集制作：
（1）支持浏览并参考单轮对话数据集的json、jsonl格式模板，以及多轮对话数据集的jsonl模板格式；
（2）支持读取本地指定路径中的数据集文件，用于后续大模型的训练；
（3）支持读取.json，.jsonl格式文件；
（4）支持在提供文件系统API的浏览器上编辑和检验本地的数据集文件；
（5）支持不少于50万条数据集流畅浏览。
4.模型知识库：
（1）支持读取本地指定路径中的知识库文件；
（2）支持通过挂载知识库的方式部署大模型；
（3）支持选择国内不少于10种知名的开源基础模型用于部署，如：百川，千问，智谱。
5.大模型训练：
（1）支持选择国内不少于10种知名的开源基础模型用于训练，如：百川，千问，智谱；
（2）支持多种模型Prompt模板类型；
（3）支持配置system字段、训练集采样数量、验证集采样数量、数据集超长策略、验证集拆分比例、句子最大长度、训练方式、随机数种子、训练精度、DDP分片数量、存储步数、LoRA的秩、LoRA的alpha、LoRA的dropout、训练batchsize、学习率、数据集迭代轮次、验证batchsize、交叉验证步数、最大迭代步数、梯度累计步数、梯度裁剪、量化bit数、bnb_4bit_comp_dtype、bnb_4bit_quant_type、数据及采样条数、Optimizer类型、权重衰减、日志打印步数、LrScheduler类型、学习率warmup比例以及其他高级参数；
（4）数据集超长策略支持delete和truncation_left；
（5）支持展示和停止展示大模型训练详细进度；
（6）支持以图表的形式查看大模型训练状态；
（7）训练方式支持lora、full、longlora、qalora、ia3、llamapro和adalora。
（8）训练精度支持bf16、fp16、fp32、AUTO；
（9）量化参数支持0、4、8；
（10）bnb_4bit_comp_dtype支持fp16、bf16、fp32、AUTO；
（11）bnb_4bit_quant_type支持fp4、nf4；
（12）支持将训练好的模型存储在大模型服务器路径下。
6.大模型部署：
（1）支持选择国内不少于10种知名的开源基础模型进行部署，如：百川，千问，智谱；
（2）支持部署平台完成训练的模型；
（3）支持配置system字段、模型Prompt模板类型、生成序列最大长度、推理框架、temperature、top_k、top_p、repetition_penalty、端口以及更多参数；
（4）推理框架支持AUTO、vllm、pt；
（5）支持展示和停止展示大模型部署状态；
（6）支持对部署的模型进行对话测试。
7.大模型Agent包含开发模块
（1）机器人开发模块
①通讯方式，支持同一局域网下使用API调用的方式实现设备无障碍通信。支持根据需求在任意空闲的非标准的应用层端口中进行连接通信；支持以可视化的方式启动大模型与六足机器人的通信服务；
②调用语音，支持通过API发送语音指令到六足机器人调用六足机器人的语音播报功能；
③开发任务，可进行智能巡检六足机器人开发任务：1）根据机器人的机器json指令要求，通过数据集训练和修改系统提示词等多种方式，使得大模型的输出json格式，并且符合机器json指令要求；2）支持使用自然语言的表达方式控制机器人，机器人可以理解自然语言的命令；3）机器人有语音播报能力，通过本地的文本转语音的模型进行语音播报；4）支持通过AIagent的方式，融合各种大模型，支持多模态大模型，扩展能力支持更多的业务场景。
（2）RPA应用开发模块
①通讯方式，支持同一局域网下使用API调用的方式实现学校已采购RPA软件无障碍通信。支持根据需求在任意空闲的非标准的应用层端口中进行连接通信；支持以可视化的方式启动大模型与RPA的通信服务；
②
业务以咨询、监理为核心。服务范围覆盖规划咨询、立项咨询、初步设计、项目管理、运维、后评价、监理等信息系统建设的全链条，可为用户提供信息工程领域的全方位专业服务。服务领域主要聚焦在人社、医保、医疗、民政、教育、公安等行业的软件开发、数据中心建设、信息安全、系统集成等方面。 咨询服务主要包括信息化项目总体规划方案的编制、立项申请书的编制、可行性研究报告的编制、项目经济评价报告的编制等。 监理服务包括规划阶段、设计阶段、实施阶段、验收阶段、和运维阶段全流程监理服务。
文档评论（0）