模型简介
数据处理管道：复杂的数据处理流程确保了训练阶段的数据清洁和调度的最优化。 稳健优化：YuLan-Mini采用先进的优化技术，有效应对常见的训练不稳定性。 有效退火：通过长文本训练和针对性数据选择，模型细化其性能。
技术创新
数据处理管道： 稳健优化策略： 有效退火技术： 模型架构创新： 多阶段训练流程：
基准测试与性能
通用语言理解： 开放领域任务：
OpenCSG助力YuLan模型
在训练YuLan-Mini模型时，大量使用了来自OpenCSG社区发布的Chinese Fineweb Edu 数据集。这是一个为教育领域的自然语言处理任务特别设计的高质量中文预训练语料库。该数据集经过了严格的筛选和去重流程，使用少量数据训练的打分模型进行评估，从海量的原始数据中提取出高价值的教育相关内容，确保了数据的质量和多样性。最终，该数据集包含了约90M条高质量的中文文本数据，总大小约为300GB，这为YuLan-Mini模型的训练提供了丰富的教育领域语料，有助于模型在相关任务上表现出色。
Chinese Fineweb Edu下载地址
OpenCSG社区：https://opencsg.com/datasets/OpenCSG/chinese-fineweb-edu
huggingface社区：https://huggingface.co/datasets/opencsg/chinese-fineweb-edu
魔搭社区：https://www.modelscope.cn/datasets/opencsg/chinese-fineweb-edu
模型下载
OpenCSG社区：https://opencsg.com/models/yulan-team/YuLan-Mini
欢迎加入OpenCSG社区
•贡献代码，与我们一同共建更好的OpenCSG
•Github主页
欢迎🌟：https://github.com/OpenCSGs
•Huggingface主页
欢迎下载:https://huggingface.co/opencsg
•加入我们的用户交流群，分享经验
扫描上方二维码添加小助手
“ 关于OpenCSG
