一分钟部署生物信息分析环境

文摘   其他   2024-12-05 09:49   辽宁  
最近深入研究了codespaces,给大家介绍了很多云开发环境部署,这里我为大家提供了一个配置模板,只需要点一下即可部署环境。


Codespaces部署分析环境

由于github codespaces免费版最大只有4核16GB,32GB磁盘空间,无法做加到的分析运算,我们仅用来做练习,或者下载数据,例如可以在上面安装软件然后将其打包下载回来。

项目地址:https://github.com/wangtong/codespaces

可以直接在该页面生成,也可以fork到自己github页面下。

我们将默认配置写入devcontainer.json文件中,
{    "name": "Dev Container Python",    "image": "mcr.microsoft.com/devcontainers/base:ubuntu-22.04",    "customizations": {        "vscode": {            "settings": {                "editor.tabSize": 2,                "files.trimTrailingWhitespace": true,                "workbench.colorTheme": "Aura Dark",                "workbench.iconTheme": "material-icon-theme",                           },            "extensions": [                "ms-python.python",                "ms-python.vscode-pylance",            ]        }    },    "remoteUser": "root",    "postCreateCommand": "uname -a"}

这是一个yaml格式的文件

name:容器名字

image:镜像模板

features:安装一些软件
postCreateCommand:创建完容器要安装的命令

customizations:用来配置vscode,extensions用来安装vscode扩展。

forwardPorts: 转发端口

这里我们默认选择ubuntu 2204版本镜像,如果不熟悉devcontainer.json,也可以使用Dockerfile文件配置。进需要在devcontainer.json指定Dokcerfile即可。

{   "name": "Ubuntu",   "build": { "dockerfile": "Dockerfile" },}


配置环境

生成容器镜像之后,我们就可以直接在vscode中打开使用。

打开README文件,按照README中的简介进行操作。这里我们默认为vscode安装了aura主题,如果不喜欢改主题,还可以切换。

切换管理员账号

#切换rootsu -#修改命令行cp .bashrc /root/.bashrc#刷新设置source ~/.bashrc

apt安装软件

apt install -y git apt install -y tree apt install -y htop apt install -y tmux apt install -y bwaapt install -y samtoolsapt install -y bcftoolsapt install -y fastqcapt install -y fastpapt install -y spadesapt install -y prodigalapt install -y awscliapt install -y sra-toolkitapt install -y speedtest-cli

网络测速

安装完speedtest-cli可以直接用于网络测速

speedtest

安装bioconda

#下载biocondawget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh#安装sh Miniforge3-Linux-x86_64 -b#初始化~/miniforge3/bin/mamba init bash#更新设置source ~/.bashrc#添加软件源conda config --add channels bioconda

#安装软件mamba install -y flye

打包conda环境

mamba create -n genomemamba install -n genome -y velvetmamba install -n genome -y flyemamba install -n genome -y miniasmmamba install -n genome -y canumamba install -n genome y megahitmamba install -n genome -y spades
#安装软件mamba install conda-pack#打包环境conda pack或者conda-pack都可以mamba pack -n genome -o genome.tar.gz

# 解压到新环境#首先创建文件夹mkidr genometar -zxvf genome.tar.gz -C genome

#激活环境mamba activate genomesource genome/bin/activate

apptainer

add-apt-repository -y ppa:apptainer/ppaapt updateapt install -y apptainerapptainer pull docker://google/deepvariant

打包docker

国内使用不了docker,可以打包回去使用。

apt install -y podman*docker pull google/deepvariantdocker images docker save -o 7d046533d9e9.tar docker.io/google/deepvariant:latestpigz 7d046533d9e9.tar 

aws数据下载

aws s3 cp --no-sign-request s3://sra-pub-run-odp/sra/SRR1039510/SRR1039510 SRR1039510.sra

下载数据

使用prefetch直接下载NCBI SRA数据库,速度非常快。

prefetch SRR8482586 -pprefetch SRR8494912 -pprefetch SRR8494939 -p

传输文件

使用scp,sftp或者rsync等工具传到国内服务器上。然后写入自己的用户名和服务器地址即可。下条命令中地址需要自己修改。

rsync -avP --rsh='ssh' 7d046533d9e9.tar.gz  abc123@xxx.xxx.xx.xx:~/

基因学苑
生物云计算专家
 最新文章