史诗级升级,bioconda使用本地数据库

文摘   2025-01-02 11:13   辽宁  
bioconda使用过程中需要联网下载软件安装包,很多在线工具都这样,yum,apt,pip,R等,由于网络问题,有时候会下载不到导致安装终端,可以使用国内镜像加速下载。切换到mamba会加快这个速度。不过由于网络问题,还是容易终端,于是,我们将bioconda数据库都下载到本地使用。



安装bioconda库

bioconda是anaconda的一个分支,在使用过程中,需要用到anacodna,conda-forge以及bioconda三个库。其中conda-forge是社区维护的一个库。也是文件最多的一个。

下载地址:

anaconda:https://conda.anaconda.org/anaconda/linux-64/bioconda:https://conda.anaconda.org/bioconda/linux-64/conda-forge:https://conda.anaconda.org/conda-forge/linux-64/

这其中anaconda有4.3万+个文件,bioconda有6.4万多个文件。而conda-forge的文件最多,有超过55万+个文件。

首先将这些库文件都下载到本地,由于文件太多,下载非常慢,这些文件下载了半个多月。

配置本地库

我们在一台服务器上安装了nginx,然后可以所有内网机器都可以通过http访问文件。
我们可以将biocodna文件都添加到.condarc文件中。

channels:  - http://172.16.40.4/anaconda/bioconda  - http://172.16.40.4/anaconda/anaconda  - http://172.16.40.4/anaconda/conda-forge
接下来就可以使用内网的bioconda库了。内网1000M/s,下载文件速度超级快。
一些小问题
目前该方法还有一些小问题,由于mamba默认就采用conda-forge库,因此每次安装软件,默认还是要连接conda-forge库,这部还是需要一些时间。如果能禁用默认的conda-forge库,速度一下在就会快很多。
mamba install -y fastqc

Looking for: ['fastqc']

http://172.16.40.4/anaconda/bioconda/linux-64 No changehttp://172.16.40.4/anaconda/bioconda/noarch No changehttp://172.16.40.4/anaconda/anaconda/noarch No changehttp://172.16.40.4/anaconda/conda-forge/linux-64 No changehttp://172.16.40.4/anaconda/anaconda/linux-64 No changehttp://172.16.40.4/anaconda/conda-forge/noarch No changeconda-forge/noarch 18.2MB @ 581.5kB/s 31.3sconda-forge/linux-64 41.0MB @ 777.9kB/s 52.7sTransaction

Prefix: /ifs1/User/bio456/miniforge3/envs/rnaseq

Updating specs:

- fastqc

有两个文件从conda-forge库下载,其余大量都是从本地下载。下载速度超快。

 Package                         Version  Build               Channel                             Size─────────────────────────────────────────────────────────────────────────────────────────────────────────  Install:─────────────────────────────────────────────────────────────────────────────────────────────────────────

+ font-ttf-dejavu-sans-mono 2.37 hab24e00_0 conda-forge Cached + tzdata 2024b hc8b5060_0 conda-forge Cached + libstdcxx-ng 11.2.0 h1234567_1 172.16.40.4/anaconda/anaconda 6MB + _libgcc_mutex 0.1 main 172.16.40.4/anaconda/anaconda 3kB + ld_impl_linux-64 2.40 h12ee557_0 172.16.40.4/anaconda/anaconda 723kB + python_abi 3.13 0_cp313 172.16.40.4/anaconda/anaconda 5kB + ca-certificates 2024.11.26 h06a4308_0 172.16.40.4/anaconda/anaconda 141kB + libgomp 11.2.0 h1234567_1 172.16.40.4/anaconda/anaconda 573kB + _openmp_mutex 5.1 1_gnu 172.16.40.4/anaconda/anaconda 21kB + libgcc-ng 11.2.0 h1234567_1 172.16.40.4/anaconda/anaconda 9MB + libiconv 1.16 h5eee18b_3 172.16.40.4/anaconda/anaconda 1MB + icu 73.1 h6a678d5_0 172.16.40.4/anaconda/anaconda 29MB + xz 5.4.6 h5eee18b_1 172.16.40.4/anaconda/anaconda 717kB + openssl 3.0.15 h5eee18b_0 172.16.40.4/anaconda/anaconda 5MB

更新问题

后续更新只要每周检索conda-forge文件列表,与本地文件进行比较,只下载更新部分即可。使用我们的云服务器即可直接使用本地bioconda库。只需要将默认的库更换一下即可。

/usr/bin/cp -f /etc/skel/.condarc_local ~/.condarc

基因学苑
生物云计算专家
 最新文章