开放数据集与大语言模型：LLaMA训练数据集，高质量数据
RedPajama: an Open Dataset for Training Large Language Models
2024-11-19｜TogetherAI, Stanford, U Chicago, EleutherAI, Ontocord, Princeton U, ETH Zurich, Mila, Université de Montréal, OSU, Caltech|🔺20
http://arxiv.org/abs/2411.12372v1
https://huggingface.co/papers/2411.12372
https://github.com/togethercomputer/RedPajama-Data
研究背景与意义
在人工智能领域，大型语言模型（LLMs）的发展日益成为核心技术。然而，关于数据集的组成和过滤策略的最佳实践仍然缺乏透明度。许多顶尖模型在数据集策划和模型开发过程中缺乏透明性，这给开放源语言模型的发展带来了障碍。
本文提出了三个核心的数据相关挑战： 1）模型开发的透明性，包括数据策划过程； 2）获取大量高质量数据的途径； 3）数据集策划和分析所需的文档和元数据的可用性。
为了解决这些挑战，研究团队发布了RedPajama-V1数据集，作为LLaMA训练数据集的开源再现，同时发布了RedPajama-V2，这是一个包含原始、未过滤文本数据的大规模网络数据集，旨在推动新数据集的发展。
研究方法与创新
本研究的核心创新在于RedPajama数据集的构建与发布。RedPajama-V1是LLaMA训练数据的开放再现，经过严格的数据处理和质量控制，确保了数据集的透明性和可用性。RedPajama-V2则专注于网络数据，包含超过100万亿个标记，提供了丰富的质量信号和元数据，便于后续的研究与开发。研究者通过对比现有数据集的透明度、可用性和规模，展示了RedPajama数据集在开放源语言模型中的重要性。
实验设计与结果分析
研究团队进行了多场景的实验，评估RedPajama数据集的质量和性能。通过对比不同的数据过滤策略，研究者展示了如何利用质量信号有效地策划出高质量的数据子集。实验结果表明，RedPajama数据集在多个自然语言处理基准测试中的表现优于其他大型预训练数据集，验证了其在训练高性能语言模型中的潜力。
结论与展望
本文的贡献在于发布了RedPajama数据集，为开放源语言模型的研究提供了重要基础。尽管当前模型规模相对较小，但研究者认为，未来需要进行更大规模的探索，以进一步提高数据集的质量和实用性。通过提供透明的数据集和质量信号，研究团队希望激励更多的研究者在数据过滤、策划和多数据集混合方面进行创新，推动开放源语言模型的发展。
