![]()
“懂技术，懂AI””已经成为当今法律人的重要加分项。但“纸上得来终觉浅，绝知此事要躬行。” 要真正掌握AI，还是要多尝试使用和探索AI。今天，我们有幸邀请到了史宇航博士，他不仅对人工智能技术有着深刻的理解，还亲自着手在本地环境中部署和运行了大型AI模型。以下为史博士分享的心得体会和宝贵经验。
![]()
自从ChatGPT问世以来，生成式AI在法律领域的潜力不断被解锁，各种应用场景层出不穷。从最基础的翻译、校对，到文档审阅，再到文书生成，都可以快速实现。而在智能体（agent）功能被广泛运用后，AI的潜力更是得到了进一步的释放，比如我自己就尝试用AI搭建了一个在《广告法》体系下的广告审核工具——“广告婶”，可以基于ChatGPT、智谱清言、coze等各个平台开展广告审核工作，而且还有着不错的效果。但是，在法律行业对AI始终有保留态度，尤其是在保密性方面。在美国法下律师有保密的特权（Attorney Client Privilege），在我国《律师法》下也要求“律师对在执业活动中知悉的委托人和其他人不愿泄露的有关情况和信息，应当予以保密”，各国也大抵如此。在这种情况，美国律师协会（ABA）要求律师在使用生成式AI时，对客户代理相关的所有信息保密除非客户同意。律师在将与客户代理相关的信息输入到生成式AI之前，必须评估信息被披露或被他人访问的风险。英国的《人工智能司法人员使用指南》也对保密性格外重视，专门提示“应将所有人工智能工具视为会公开您输入其中的任何信息”。对保密性的重视无疑会让AI所在法律工作中适用的场景变少，我们没有办法将实质性的工作成果交给AI、构建数据库。因此，找到能够有一种让AI在本地运行的方案就显得有必要了。而能够下载、在本地部署的开源大模型正是符合保密要求的一个解决方案。所谓开源大模型，就是允许用户把大语言模型下载到本地进行部署，哪怕是在不联网的情况下也能够运行。如果说Azure/OpenAI提供的服务类似于软件即服务的云计算服务，那么开源大模型就相当于是本地运行的软件。当前比较常见的开源大模型有Google的Gemma、Meta的Llama、阿里的通义千问，等等。它们各自的开源协议不同，但都运行本地部署和运行。那么，问题的关键就在于如何本地化？
本地化部署大模型的教程在B站上有的是，具体步骤我不再赘述，大体思路都是通过Ollama进行部署。Ollama是一个开源的大模型管理工具，可以实现模型的本地管理。但问题在于，本地运行大模型对计算机显卡的要求较高，我的电脑能否带动？
据我的观察，大多数律师都是选择ThinkPad或是苹果电脑作为主力工作电脑，但这些笔记本都不是游戏本，没有优秀的显卡支持运行。当然最便捷的方案就是买个新的游戏本，或者是重新配一部有独立显卡台式机。但这可能就是一大笔额外的开支，而且我的电脑还是去年新换的，所以如果换新确实会肉疼。所以最适合我的就是尝试利用现有的笔记本，看看能否突破性能的瓶颈。好在现在有显卡坞这么个产品，就是允许设备外接显卡，以提升原本计算机的性能。外接显卡主要有两个路径：oculink接口与雷电接口。oculink接口基本上可以实现外接显卡不存在性能损耗，但绝大多数的笔记本电脑并不支持oculink接口，我的也不例外。所以通过雷电4接口就成了唯一的选择。因为雷电4接口本身传输速率的限制，显卡的性能会打折扣。在B站研究了一下不同显卡的损耗情况，最终选择了GeForce RTX 4060Ti作为外接显卡。基于几方面的考量：1）雷电4接口连接4060Ti性能的损耗可以接受，更高端的显卡受接口影响损耗太大；2）4060Ti的成本比起4090、4080、4070系来说更便宜，两三千元就能搞定，加上扩展坞一共差不多三四千元，具有一定的性价比；3）4060Ti有16GB显存的版本，刚好足够跑一些大模型；4）通过雷电4接口，可以实现热插拔，并不影响轻薄款笔记本电脑的便携性。硬件组装、布线、下载驱动这些流程细节按下不表。接下来就是怎么样真正让大模型工作起来。虽然有了16GB的显存，但在完整的开源大模型面前仍然不够看，这些开源大模型完整版动辄需要上百个GB的显存才能允许，显然不是普通用户所能支持得起，但好在各个开源大模型还提供了精简版本，很多精简后的版本16GB的显存就能够流畅运行，当然32GB会运行得更好。另外，因为Ollama只是提供了一个命令提示符界面，显然没有办法开展正常的工作。摸索了一番，就选择了Anything LLM与RAG Flow这两个提供图形交互节目，并支持知识库的工具。Anything LLM可以使用自带的向量数据库对知识库进行处理，RAG Flow则可以支持本地的开源嵌入（embbding）模型处理知识库。简单来说就是Anything LLM安装简单，但功能相对单一；RAG Flow安装复杂，但功能相对强大。折腾一番接口配置，也最终让本地大模型结合着本地知识库顺利跑了起来。
既然费尽周折终于落地了大模型，那么就要探索一些具体的应用，不是一个随便拿来聊天的工具。以下是我已经在用的几个：法律翻译是法律工作中最常见的一项工作，我的邮箱里不时会收到专业法律翻译公司的广告。传统上法律翻译用DeepL、Google翻译都可以，或者是大模型也能翻译，但这些工具的问题就在于泄密风险。无论服务商的安全措施多么到位，都会存在需要将待翻译内容发送至对方服务器的过程。本地部署的大模型就像是本地安装的高性能翻译软件，不用担心数据会离开计算机。更妙的是，还可以通过知识库、提示词的方式，确保翻译的准确性，比如令人头疼的LLM的翻译，只要提示词足够准确就能够避免法学硕士与大语言模型的“串味”，各种潜力不一而足。基于知识库的知识问答看似是传统，但也是非常实用。传统法律服务交付的成果无外乎是文档（合同、法律意见书、法律文件……）、PPT（培训材料、报告……）、Excel（统计、对比表单）的形式，但近期我们能够感觉到一些新的趋势，比如一些项目的交付已经成为为客户的法务团队交付AI产品，而其中最实用的就是知识问答。通过结合内部知识与外部知识组织起合适的知识库，结合大模型的能力交付客户。如果对保密要求没有那么高，则可以通过API去调用各种大模型，但如果对保密性要求高，就会要求连模型本身也在本地部署。我自己就基于GDPR的文本及相关的指引，做了一个欧盟GDPR的问答，调试好后效果不亚于低年级律师的检索结果了，而速度也要高效很多，甚至可以直接用于回答微信群里群友的GDPR相关问题。我的另外一个基于数据要素的知识库也已经可以直接生成一些制度性的文件。而这种定制化服务的潜力，才刚刚露出冰山一角。我做过一个广告审核的工具“广告婶”，可以基于ChatGPT、智谱清言、Coze等不同平台，调用不同的模型实现对广告、宣传文案、宣传海报的自动化审核，并给出修改意见，当然不同平台的准确率存在差异。我自然也想到了移植到本地，也能够实现基本审核功能。尤其是RAG Flow可以支持复杂流程的智能体（agent），给了审核功能更多的可扩展性。本地化广告审核最大的优点在于可以让未公开的文案不脱离本地计算机，降低大模型本身泄密的风险，提升广告审核过程的安全性。当然，这块是有更多的想象空间的，后面有机会再展开。
本地大模型已经跑了一段时间，这绝对不是一个尽善尽美的体验。无论是扩展坞的硬件条件、大模型技术本身、知识库软件，都还处在高速的迭代过程中，几乎所有的软件都是beta版的。在使用过程中，电脑死机、大模型卡死、图片内容无法读取、只能在固定地点使用、响应速度慢等等都是问题，会令人有挫败感。但整个过程中，更让我印象深刻的是将一系列软硬件组合在一起，然后看着大模型成功在本地运行界面，让我有了久违的搭积木的乐趣。我上次体验到这样的乐趣可能还是参加黑客松在几十个小时内做出一款法律科技工具。就我的体验来说，本地运行的大模型并无法取代在线调用大模型API，因为响应的效率、稳定性、质量肯定和在线完整版本有所差异。但如果商业化部署，用更好的硬件运行全量的大模型，效果或许会有改善，不过那就是法律服务的另一个维度了。
法律服务正在高速变化，大模型的技术与应用也是。我也只是探索了大模型在本地使用的冰山一角，期待能够开发出更多实用而有趣的功能。哪怕在未来本地大模型被证明是一条邪路，就算再不济，这样的配置也能够跑得起《黑神话：悟空》的。
法宝开放麦，诚邀法律界的同仁分享在法律工作中使用AI的体验和心得。
在这里，法宝期待聆听到更多关于AI与法律融合的真实故事。无论是辉煌的成就、途中的挑战，还是从失败中提炼出的宝贵经验。这些来自第一线的分享不仅珍贵而且启发深远，将为读者们开启全新的思考视角。
专栏内容将包括但不限于：
深入讨论AI技术在法律研究、案件分析、合同审查及文件摘要等众多法律工作场景中的应用落地，如何提高工作效率与成果品质。
我们热情邀请法律领域的先行者分享运用AI技术的真实案例，包括振奋人心的成功案例、落地过程中的难题和巧妙应对的策略。这些来自一线的宝贵经验既能为同行提供深刻的见解和实用的参考，也能激发出更多的创新思维。
同时，我们将对法律科技的将来发展趋势展开深度预测，探讨AI技术将如何改变法律行业的未来，并为法律人士给予专业意见，助力他们把握并适应这些新变化。
专栏将分析AI技术在法律领域应用可能带来的法律挑战，例如数据隐私保护、算法透明度、责任归属等问题，并探讨相应的法律解决方案。除了文字分享，法宝还将邀请热门嘉宾连麦直播，在线答疑。打造一个互动的平台，让读者有机会直接与行业专家对话，共同探讨AI在法律领域的应用和前景。法宝期待这个专栏能成为法律与AI交叉领域的知识交流中心，促进法律专业人士之间的对话，激发新的思考和创意，共同推动法律科技的进步和创新。
![]()
●投稿邮箱yuzehui@chinalawinfo.com
●内容传播：您的文章将被选登在法宝公众号平台，与法宝的数十万专业关注者共享您的见解，激发深入的讨论与思考。
●产品试用：您将有机会率先体验法宝最新推出的法律AI产品，与法宝携手探索人工智能与法律结合的创新领域，开启法律科技的新篇章。
例如法宝最新推出的 AI 知识管理工具律 AI 多。这款贯穿知识管理全流程的智能生产力工具，为法律行业用户提供高效的专业知识内容服务的同时，通过大模型能力帮助用户打造属于自己的第二大脑。
●行业交流：您将被邀请参加法宝举办的交流活动，与法律AI领域的专家学者和行业先锋进行面对面的深入交流，拓展您的专业网络，共同推动法律科技的发展。
律AI多产品旨在通过法律大模型结合法宝数据库和自建知识库，提供律所律师全流程知识管理解决方案，实现知识沉淀智能化、知识查询和再利用便利化以及知识资产应用多元化，赋能律所提质增效，提升法律服务标准化水平。
一、多元融合，全新律所知识管理解决方案
律AI多基于模型+数据+应用的产品架构，充分整合广泛的法律大模型与法宝专业数据库、知识库资源，支持律师/律所自建知识库，通过知识库搭建与管理、AI智能检索与问答、多元业务场景智能应用等核心功能模块，实现知识采集、收录、查询和再利用，提供一站式智能化律所知识管理及应用平台。
二、智能升级，效率倍增：一键实现律师个性化知识库构建
法宝在系统中增加了便捷的知识库搭建和管理工具，用户可以轻松上传、组织和分类文件，构建个性化的知识库，支持自动+人工编辑标签等功能操作。
三、全网全量数据，一站式智能精准检索
律AI多融合全网法律信息、专业法宝数据库（法律法规、案例、律师实务文章等），支持律师/律所自建知识库，通过“大模型+搜索引擎”的方式，提供「普通」和「研究」模式生成内容。
四、智能问答：场景驱动的精准解答
律AI多产品的智能问答模块，支持自然语言交互模式，能够快速响应并支持包括法条查找、类案推送、案情分析以及法律咨询在内的多种法律场景。同时提供延展性相关问题，启发用户提问思路，提高问答效率。
五、多元化智能应用：律所业务增长新动力
律AI多平台不仅优化了法律服务流程，还为律所提供了强大的业务增长动力，帮助律所实现业务的持续增长和法律服务的智能化创新升级。
六、共筑法律知识管理新生态：律AI多诚邀律师律所加入创新合作
我们期待并诚邀更多的律师和律所加入律AI多生态合作圈，利用律AI多平台的强大功能，搭建属于自己的个性化知识库，实现知识资产的高效管理和应用。
↓
![]()
![]()
本文声明丨本文章仅为交流之目的，不代表北大法宝的法律意见或对相关法规/案件/事件等的解读。 ▼ 往期精彩回顾 ▼
法宝AI开放麦 | 法律职业中的人工智能：一个法律人的AI初体验
法宝AI开放麦招募了！欢迎来聊聊和AI的故事
律AI多：重塑知识管理新范式，赋能律所创新驱动力
闲鱼上几块钱的法律咨询，是真律师吗？
淘宝、拼多多、微博、美团、去哪儿、携程调查取证及协助执行指引
法宝AI开放麦 | AIGC如何改造互联网大厂法务部？
法宝承办 | 2024“威海海洋经济、法律、人工智能论坛”即将召开，诚邀您的参与！
法学院就业率“垫底”，我们究竟需要多少律师？
智能写作4.0：创新升级，引领内容创作新纪元
法宝AI开放麦 | 法律职业中的人工智能：一个法律人的AI初体验
客户案例 | 北大法宝×北京计算机技术及应用研究所，双系统赋能、跃阶智能金融司法新维度！
新品发布 | 北大法宝智慧阅读系统，开启AI阅读新时代
