从HuggingFace上下载大语言模型llama 3.1

文摘   科技   2024-08-18 20:34   内蒙古  
1. 引言

GPT-2时代,可以任意从HuggingFace上下载大语言模型【新探索---EleutherAI的GPT Neo/GPT-3模型】,但自从ChatGPT的降临,HuggingFace出于各种各样的原因,封锁了模型下载的通道,致使像LM Studio(V0.2.31)和GPTAll(V3.2.1)无法直接下载模型(gguf)。不过,这难不倒聪明的中国人,建立了两个最著名的镜像网站:魔搭社区(modelscope)和HF-Mirror。本文仅讨论后一个,记录了从HF-Mirror上下载Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf的过程。


2. 下载方法
(1) 安装huggingface库
pip install -U huggingface_hub hf_transfer
(2) 设置环境变量
$env:HF_ENDPOINT = "https://hf-mirror.com"
(3) 执行命令
huggingface-cli download lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF
直接从meta上下载需要授权,因此从lmstudio-community上下载,使用--exclude排除不需要下载的模型,目前仅下载了Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf

3. 测试
下面使用GPT4ALL测试了下载的模型,关键词"model configure matrixflow"命令。
3.1 概述
model configure matrixflow命令是 3DEC模拟流体流动和水力压裂过程时重要的输入命令,通过该命令,可以在模型中模拟节理流体流动和基质流体流动,从而更准确地预测沉陷、沉降和其他水-力相互作用。
3.2 什么是基质流体流动 

基质流体流动(Matrix fluid flow)是指流体通过多孔岩石基质本身的运动,而不仅仅是沿着节理或裂缝的运动。这一过程对于理解各种地质现象(如地下水流、石油迁移和水力压裂引起的孔隙压力变化)至关重要。在 3DEC 模拟中,可使用model configure matrixflow 命令激活基质流体流动。发出该命令后,模型中将同时启用节理流体流(流体沿现有节理或裂缝的运动)和基质流体流。

3.3 为什么使用基质流体流动?

3DEC 中的基质流体流动模拟与只考虑节理流体流动的传统模拟相比,具有多项优势:

(1) 更准确的预测:通过同时模拟节理流体流和基质流体流,用户可以获得更准确的沉降、沉陷和其他水-力相互作用预测。

(2) 更好地了解流体迁移:基质流体流动模拟有助于研究人员了解流体如何在岩体中迁移,这对于预测水力压裂结果和优化注入策略至关重要。

(3) 增强的可视化功能:启用基质流体流动功能后,用户可以直观地看到流体在多孔岩基质中的运动,从而为了解地质过程提供宝贵的信息。

matrixflow关键字用于模拟岩土体内的基质流。除了模拟流体在节理中的流动外,程序也可以模拟流体在节理之间流向周围的材料(即泄漏),周围的材料代表一个饱和的、可渗透的固体,如土或断裂的岩块(即基质)。与节理流动一样,基质流动模拟可以与通常的力学计算耦合或不耦合,根据指定的材料属性和流体边界条件(压力或排放)来计算流体流动。


基质流体流动模拟(model configure matrixflow)是指使用 3DEC 等数值模拟工具来研究流体在岩石或土等多孔介质中的运动,这一过程的特点是流体在压力梯度、重力和毛细力等因素的驱动下,通过固体基质中的孔隙空间进行运动。基质流体流动模拟对于理解各种地质现象(如地下水流动、石油采收以及地下稳定性和破坏)至关重要。通过使用 3DEC 对这一过程进行模拟,研究人员可以对多孔介质系统内的复杂现象获得有价值的见解,这对环境科学、地质学和土木工程等领域具有重要意义。参考文件:3DEC fluid-solid coupling analysis.txt

(a) Numerical Simulation of Fluid-Solid Coupling in Fractured Porous Media with Discrete Fracture Model and Extended Finite Element Method.

(b) Excavation in a Saturated Soil

(c) Joint Fluid Flow

(d) Matrix Fluid Flow

(e) Pore Pressure and Effective Stress


4. 结束语
本文记录了使用hf-mirror镜像下载HuggingFace的方法,这个方法确实能够突破HuggingFace对国内的封锁。至于Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf这个量化模型,经过与llama3.0 8B,Mistral 7B等其它模型的比较,发现至少在当前的场景中,并不能提供出更有价值的信息。

计算岩土力学
2024年5月8日,《计算岩土力学》建立4周年啦!
 最新文章