下载地址：
huggingface社区：https://huggingface.co/datasets/opencsg/chinese-cosmopedia
魔搭社区：https://www.modelscope.cn/datasets/opencsg/chinese-cosmopedia
大模型训练通常依赖于大量数据，尤其是在生成式模型崛起的当下，数据的质量和多样性变得至关重要。然而，中文数据资源相对匮乏，阻碍了中文大模型的进一步发展。OpenCSG 作为国内最活跃的开源机构之一，瞄准了这一空白，致力于打造一个涵盖广泛领域的中文合成数据集，以应对中文生成式模型的训练需求。
Chinese Cosmopedia 的推出标志着一个新的里程碑，专注于提升中文语言模型的生成能力。该项目不仅包括中文维基百科、百度百科等知识性内容，还涵盖学术教科书、技术教程、故事等多样化文本，通过多样的prompt设计保证数据集的高质量与实用性。
Chinese Cosmopedia 的数据形式与风格
大学教科书：内容结构严谨，深入探讨各类大学学科的核心概念。 中学教科书：适合中学生的教学内容，简洁易懂，注重基本知识的传达。 幼儿故事：面向5岁儿童，语言简洁易懂，帮助幼儿理解世界和人际关系。 普通故事：通过引人入胜的情节和人物对话，展开对某一概念的生动描述。 WikiHow风格教程：详细的步骤指导，帮助用户完成特定任务。
OpenCSG开源中文版fineweb edu数据集
Chinese Fineweb Edu 数据集是一个精心构建的高质量中文预训练语料数据集，专为教育领域的自然语言处理任务设计。该数据集通过严格的筛选和去重流程，利用少量数据训练打分模型进行评估，从海量的原始数据中提取出高价值的教育相关内容，确保数据的质量和多样性。最终，数据集包含约90M条高质量的中文文本数据，总大小约为300GB。
chinese-fineweb-edu在hf数据趋势榜排名全球Top3
点击图片即可跳转~
教育价值评估：首先使用csg-wukong-enterprise打分模型对样本的教育价值进行评估，模型会根据样本内容的相关性和质量给出0-5的评分。在初步筛选阶段，我们选取了约100k条评分较高的数据。 打分模型训练：利用这100k条样本数据训练了一个BERT模型，用于对更大规模的预训练数据集进行文本打分。这一步确保了模型能够有效地识别出具有高教育价值的内容。 数据筛选：接下来，使用训练好的BERT模型对原始数据进行全面打分，仅保留得分大于4的数据。这一筛选过程极大地提高了数据集的质量和相关性，确保了其在教育领域的应用价值。 MinHash去重：为避免重复内容对模型训练的负面影响，数据集采用MinHash算法对所有数据进行了去重处理。这种方法确保了数据的独特性，同时保留了多样化的教育内容。
欢迎加入传神社区
•贡献代码，与我们一同共建更好的OpenCSG
•Github主页
欢迎🌟：https://github.com/OpenCSGs
•Huggingface主页
欢迎下载:https://huggingface.co/opencsg
•加入我们的用户交流群，分享经验
扫描上方二维码添加传神小助手
“ 关于OpenCSG
关注OpenCSG
加入传神社区
