论文地址：
https://arxiv.org/pdf/2407.19584
SaulLM-54B 和 SaulLM-141B 基于 Mixtral 系列模型开发而成，并通过引入专家混合（MoE）架构，来提升模型的能力。
MoE 架构的核心思想，是将大型模型分解为多个小型专家网络，根据输入的不同特点进行激活，不仅可以提高模型的计算效率，还可以增强模型处理复杂法律文本的能力。
同时，SaulLM 使用 5400 亿 token 的专业法律数据进行预训练和微调，涵盖来自美国、欧洲、澳大利亚等不同法律体系的法律文本，输出内容的准确率高于很多同类模型。
相比之下，大多数基础模型都使用了一个名为“Common Crawl”的免费数据库进行训练，这其中包括有害、有偏见、被污染的数据。
这种训练方法的常见目标，是使得模型可以让用户感觉自己在与真人交谈的方式聊天，但这不是法律专业人士使用大模型的目的。
与大模型是否可以与人们聊天相比，法律人有不同的需求和担忧。而且，如果模型一开始就是通过 Common Crawl 等数据训练的，那么模型的“毒性”是无法通过微调解决的。
然而，构建一个法律大模型，最大的挑战就是缺少足够多且高质量的法律数据。
因此，273 Ventures 非常关心训练数据，自 2022 年底以来，该公司就一直在努力收集、策划以及丰富/注释行业可使用的法律数据。
去年 8 月，273 Ventures 正式推出一个名为 Kelvin Legal DataPack 的数据集，具体包括 150B token 的法律、金融和一般领域的文本，可供组织用于训练模型。据称，这是第一个具有明确出处和可商用的大规模数据集，还包括相关注释，以支持各种用例。
随后，273 Ventures 继续收集和丰富该数据集。截至去年 12 月底，该数据集扩展到近 100TB 内容的超过 3000 亿 token 的法律和金融数据。现在，这个数据集的参数量已经超过两万亿，并通过构建持续评分和过滤内容的系统，进一步改进了这些数据的质量。
也就是说，KL3M 通过使用“干净”的数据（即不包含有害、有偏见、被污染的数据）来训练，从而有效地提高模型的性能。
同时，用户还可以使用自己的法律数据补充 KL3M 模型的数据库，或者在上面构建自己的机器人，这也可以提高模型的性能。
KL3M 因此成为了第一个获得 Fairly Trained L 认证的大模型 —— Fairly Trained 是一个非营利组织，旨在向愿意证明他们的 AI 模型是基于自己拥有、已获许可或者属于公共领域的数据进行训练的公司提供认证。
注：Fairly Trained 由 TikTok 和 Stability AI 前高管 Ed Newton-Rex 创立，得到美国出版商协会和 UMG 等组织支持，并推出一个认证项目，帮助消费者和企业识别以尊重内容创作者权利的方式进行训练的 AI 模型。
关于 KL3M 的技术细节，可点击下文了解👇
由于法律行业对模型精准度的高要求，AI 在法律行业落地需要攻克很多长期难题，包括：构建高质量的法律数据集、构建垂直模型等。
随着这些行业难题逐步得到了解决，越来越多真正好用的法律 AI 产品，已经开始出现。
欢迎联系
法律修音机（Legal Studio）是一个具有全球视野的法律科技自媒体，也是个高质量的交流社区，致力于传播全球法律科技的前沿资讯和深度内容，让好产品和好内容被看见。
自成立第一天起，法律修音机 Legal Studio 就致力于推出法律科技相关的教育资源。随着 AI 浪潮席卷法律行业，我们也希望帮助整个行业为 AI 即将随处可见的世界做好准备。
目前，我们构建了一个【法律科技智库】，并被飞书官方社区收录，访问量已经 1W+👇
🔗 智库地址：
https://www.feishu.cn/community/article/wiki?id=7384712700309274628
与此同时，我们还组建运营了一个【法律科技社区】，平时分享法律科技和 AI 相关的前沿信息，并进行高质量的讨论。截至目前，社区已经有 1500+ 实名制入群的朋友，包括法律科技从业者、律师、法务、法学院师生、其他领域的创业者和投资人等，背景非常多元。
💡了解更多：
🎟️法律科技专栏：
👉Legaltech Insight：仅包含前沿资讯
👉Legal Studio 法律科技智库（专业版）：包含前沿资讯，以及深度洞察和创新案例
注：专栏付费用户请联系法律修音机主理人，开通智库（飞书版）权限，解锁更多内容。
更多合作方案，欢迎点击【阅读原文】了解。
最后，如果你对法律科技尤其是「AI+法律」感兴趣，希望及时了解相关资讯，或者有产品或活动想在社区推广，又或者希望参与到社区的共建中，欢迎联系法律修音机主理人。添加微信请备注：姓名-工作单位-职位。
