原创力文档- 1、本文档共8页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN118246542A
(43)申请公布日2024.06.25
(21)申请号202410365843.5(51)Int.Cl.
G06N5/025(2023.01)
(22)申请日2024.03.28
G06F18/214(2023.01)
(71)申请人北京深度求索人工智能基础技术研G06F18/10(2023.01)
究有限公司
地址100080北京市海淀区科学院南路2号
C座5层N501
申请人杭州幻方人工智能基础研究有限公
司
宁波积幂信息科技有限公司
杭州幻方科技有限公司
上海积幂科技有限公司
(72)发明人张洺川邓成杞陈官厅张文韬
(74)专利代理机构杭州之江专利事务所(普通
合伙)33216
专利代理师张慧英
权利要求书1页说明书5页附图1页
(54)发明名称
一种人工智能模型训练数据集的构建方法
(57)摘要
本发明涉及人工智能领域，尤其涉及一种人
工智能模型训练数据集的构建方法，包括：1)将
数据集划分为若干大小相同的数据序列；2)以数
据序列为单位建立索引；3)根据需求比例在数据
集中抽取样本数据；4)将样本数据以数据序列为
单位混合并随机打乱；5)将打乱后的样本数据进
行均匀切分得到若干个数据块，每个数据块包含
若干个完整的数据序列；6)在每一步模型训练的
数据输入时，通过索引批量读取相应数据块作为
该步骤的模型训练数据。本发明的有益效果在
于：将数据集切分为数据序列，以数据序列为单
位建立索引，对索引进行操作，实现数据的按比
A例混合、打乱及切分操作，整个过程不会增加冗
2余数据存储，减少对存储、通信资源的消耗。
4
5
6
4
2
8
1
1
N
C
CN118246542A权利要求书1/1页
1.一种人工智能模型训练数据集的构建方法，其特征在于包括以下步骤：
1)将数据集划分为若干大小相同的数据序列；
2)以数据序列为单位建立索引；
3)根据需求比例在数据集中抽取样本数据；
4)将样本数据以数据序列为单位混合并随机打乱；
5)将打乱后的样本数据进行均匀切分得到若干个数据块，每个数据块包含若干个完整
的数据序列；
6)在每一步模型训练的数据输入时，通过索引批量读取相应数据块作为该步骤的模型
训练数据。
2.根据权利要求1所述的一种人工智能模型训练数据集的构建方法，其特征在于，如果
采用自行获取的数据构建数据集，需要在步骤1)之前对获取数据进行数据清洁以及
tokenize的步骤。
3.根据权利要求2所述的一种人工智能模型训练数据集的构建方法，其特征在于，所述
数据清洁包括原始数据的智能抽取、按行去重、哈希去重、规则过滤等步骤。
4.根据权利要求1‑3所述的一种人工智能模型训练数据集的构建方法，其特征在于，所
述tokenize的步骤包括：长文本分解为最小单位的token，然后将token转化为向量的数据
结构。
5.根据权利要求1‑4任一所述的一种人工智能模型训练数据集的构建方法，其特征在
于，所述数据序列为一维数组，包括N个连续token。
6.根据权利要求1
文档评论（0）