国内做生信,岂能不会更改镜像

文摘   其他   2024-12-27 16:05   辽宁  
做生物信息的时候经常需要配置软件环境,最简单的方式就是在线下载进行配置,但由于网络问题,下载比较慢,这就需要更改软件默认镜像为国内镜像,提高下载速度。这次内容我们来介绍一下如何更改镜像网站。



镜像网站

我们下载数据通常需要连接到数据所在的服务器,然后请求下载,传输数据。但由于物理距离较远导致下载数据慢,而且同时对一台服务器发起请求,导致服务器处理起来较慢也会导致下载速度慢。为了解决这两个问题,就在全球各地将数据“镜像”复制很多份到不同的服务器上。当主服务器更改时,各地服务器会同步更新。这样可以极大提高下载速度。

就好比华为手机上市了,不需要坐飞机到总部购买,而是会经过代理商分发到全国各地,消费者就近购买即可。目前很多大的软件都有全球镜像网站,例如Linux操作系统,docker,python,R,bioconda等。更改镜像网站会极大提高下载速度。


常用镜像站点

国内一些大型网站都会拿出一部分服务器资源作为镜像站点,这些一般都是非盈利的,算是为公众提供一些便利服务。比如阿里云,华为云,腾讯云,清华大学,中国科学技术大学,还有其他一些高校站点等。
例如我们熟悉的R语言,在国内就有大量镜像站点。

理论上来说,距离你越近的位置,下载速度越快。但不同镜像站带宽和服务器节点数还可能不同。根据经验,一般云服务器提供商的站点速度最快。例如华为云镜像站点。

https://mirrors.huaweicloud.com/home

但是华为云目前有一些镜像站点没有了,一些操作系统镜像可以使用华为,例如我们的almalinux,ubuntu就用华为云的镜像进行更新,下载速度非常快。

另一个知名站点是阿里云的镜像。

https://developer.aliyun.com/mirror/

还有两个是清华大学和中国科学技术大学的镜像,这两个内容比较全,速度也还可以。可能是节点较少的原因吧,有时候请求连接不上,那就可以多试几次。

如何更改镜像

所谓更改镜像,其实就是更改默认下载地址,一般软件里都有默认的下载网址,只需要将默认网址更改一下即可。有两种方法,第一种在运行时临时添加。例如使用pip管理python模块,可以直接在命令行通过-i选项更改镜像。
pip install --trusted-host https://mirrors.huaweicloud.com -i https://mirrors.huaweicloud.com/repository/pypi/simple

还可以更改软件配置文件,这样永久有效。

Pip的配置文件为用户根目录下的:~/.pip/pip.conf(Windows路径为:C:\Users\<UserName>\pip\pip.ini), 您可以配置如下内容:

[global]index-url = https://mirrors.huaweicloud.com/repository/pypi/simpletrusted-host = mirrors.huaweicloud.comtimeout = 120

下面是更改ubuntu镜像方法。

1、备份配置文件:

sudo cp -a /etc/apt/sources.list /etc/apt/sources.list.bak

2、修改sources.list文件,将http://archive.ubuntu.com和http://security.ubuntu.com替换成http://mirrors.huaweicloud.com,可以参考如下命令:

sudo sed -i "s@http://.*archive.ubuntu.com@http://mirrors.huaweicloud.com@g" /etc/apt/sources.listsudo sed -i "s@http://.*security.ubuntu.com@http://mirrors.huaweicloud.com@g" /etc/apt/sources.list

3、执行apt-get update更新索引

目前我们的云服务器已全部迁移到AlmaLinux,继续提供稳定高效的生物数据分析环境。里面已部署大量生物软件,还包括docker,apptainer等容器环境,上传数据,直接分析。

基因学苑
生物云计算专家
 最新文章