大语言模型通识 第5章 大模型预训练数据.pptVIP

（4）大模型训练中，网页数据对于数据的多样性和数据量支撑都起到重要的作用。ROOTS数据集中包含了OSCAR21.09版本，对应的是CommonCrawl2021年2月的快照，占整体ROOTS数据集规模的38％。5.4.2ROOTS在数据准备完成后，还要进行清洗、过滤、去重及隐私信息删除等工作，ROOTS数据集处理流程如图5-5所示。整个处理工作采用人工与自动相结合的方法，针对数据中存在的一些非自然语言的文本，例如预处理错误、SEO页面或垃圾邮件，构建ROOTS数据集时会进行一定的处理。图5-5ROOTS数据集处理流程5.4.2ROOTSPART05数据集面临的挑战尽管人工智能大模型之间正“卷”向高潮，但实际上，其应用的落地部分仍不明确，需要进一步的探索和创新。为了适应更多细分的落地场景，大模型之间的“卷”也逐步带起一堆小模型之间的竞争。好模型离不开好数据，好的数据集对模型的成功至关重要，它能提升模型的精确度，让模型能更准确地预测或分类。同时，好的数据集还能增强模型的可解释性，使人们更容易理解模型的决策过程，也有助于模型更快地收敛到最优解。这意味着模型的训练时间将大大缩短，实打实的效率和成本是核心竞争力。5.5数据集面临的挑战由于数据来源多样、类型复杂，大模型数据集存在质量参差不齐的问题。高质量的数据