无语言数据被遗弃-Hugging Face 生态系统中 CJK 语言数据集的比较研究-计算机科学-大语言模型-自然语言处理.pdfVIP

无语言数据被遗弃：HuggingFace生态系统中CJK语言数据集的比较

研究

DasolChoiWoomyoungParkYoungsookSong

YonseiUniversityMODULABSSAIONICAILablupInc.

dasolchoi@yonsei.ac.krmax@sionic.aiyssong@

Abstract及定性标准（可靠性和代表性）。虽然英语资源

已经得到了广泛研究，但东亚语言——尤其是

近期的自然语言处理（NLP）进展凸显了高

中文、日语和韩语（CJK）的数据集景观仍然相

质量数据集在构建大型语言模型（LLMs）

对较少被探索(Joshietal.,2020;Bender,2019)。

中的关键作用。然而，尽管英语有大量的

资源和分析，东亚语言——特别是中文、考虑到这些语言共同服务于超过16亿的使用

本日语和韩语（CJK）——的数据集格局仍者，并发源于技术创新的主要中心，这一差距

然支离破碎且未被充分探索，尽管这些语尤其值得注意。

译言共同服务于超过16亿的使用者。为了近年来，HuggingFace等平台作为NLP数

中填补这一空白，我们从跨语言的角度调查据集的中央存储库和访问点崭露头角，使这些

1了HuggingFace生态系统，重点关注文化规

v资源广泛可获取的同时也带来了数据集发现、

9范、研究环境和机构实践如何影响数据集

2的可用性和质量。基于3300多个数据集，质量评估以及跨语言协作等新挑战(Hugging

3Face,2023;Lhoestetal.,2021)。这些挑战在CJK

4我们采用定量和定性方法来考察这些因素

0.如何驱动中文、日语和韩语NLP社区中不语言中尤为突出，因为它们具有独特的语言特

7同的创建和整理模式。我们的发现突出了征、不同的文化背景以及各异的数据共享和文

0

5中国数据集的大规模且往往由机构推动的档编制方法。

2

:特点，韩国NLP的基层社群主导发展，以虽然CJK语言在国际NLP研究中扮演着

v及日本收藏对娱乐和亚文化的侧重。通过

i越来越重要的角色，但仍需解决一些关键问题。

x揭示这些模式，我们提出了提高数据集文

r首先，对这些语言社区中的数据集创建模式差

a档化、许可清晰度和跨语言资源共享的实

异及其如何反映各自NLP生态系统的了解有

际策略——最终指导东亚更有效和文化敏

感的LLM开发。最后，我们讨论了未来数限。其次，尽管文化和制度因素显然会影响数