最近深入研究了codespaces,给大家介绍了很多云开发环境部署,这里我为大家提供了一个配置模板,只需要点一下即可部署环境。
Codespaces部署分析环境
由于github codespaces免费版最大只有4核16GB,32GB磁盘空间,无法做加到的分析运算,我们仅用来做练习,或者下载数据,例如可以在上面安装软件然后将其打包下载回来。
项目地址:https://github.com/wangtong/codespaces
可以直接在该页面生成,也可以fork到自己github页面下。
{
"name": "Dev Container Python",
"image": "mcr.microsoft.com/devcontainers/base:ubuntu-22.04",
"customizations": {
"vscode": {
"settings": {
"editor.tabSize": 2,
"files.trimTrailingWhitespace": true,
"workbench.colorTheme": "Aura Dark",
"workbench.iconTheme": "material-icon-theme",
},
"extensions": [
"ms-python.python",
"ms-python.vscode-pylance",
]
}
},
"remoteUser": "root",
"postCreateCommand": "uname -a"
}
这是一个yaml格式的文件
这里我们默认选择ubuntu 2204版本镜像,如果不熟悉devcontainer.json,也可以使用Dockerfile文件配置。进需要在devcontainer.json指定Dokcerfile即可。
{
"name": "Ubuntu",
"build": { "dockerfile": "Dockerfile" },
}
生成容器镜像之后,我们就可以直接在vscode中打开使用。
打开README文件,按照README中的简介进行操作。这里我们默认为vscode安装了aura主题,如果不喜欢改主题,还可以切换。
切换管理员账号
#切换root
su -
#修改命令行
cp .bashrc /root/.bashrc
#刷新设置
source ~/.bashrc
apt安装软件
apt install -y git
apt install -y tree
apt install -y htop
apt install -y tmux
apt install -y bwa
apt install -y samtools
apt install -y bcftools
apt install -y fastqc
apt install -y fastp
apt install -y spades
apt install -y prodigal
apt install -y awscli
apt install -y sra-toolkit
apt install -y speedtest-cli
网络测速
安装完speedtest-cli可以直接用于网络测速
speedtest
安装bioconda
#下载bioconda
wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh
#安装
sh Miniforge3-Linux-x86_64 -b
#初始化
init bash
#更新设置
source ~/.bashrc
#添加软件源
conda config --add channels bioconda
#安装软件
mamba install -y flye
打包conda环境
mamba create -n genome
mamba install -n genome -y velvet
mamba install -n genome -y flye
mamba install -n genome -y miniasm
mamba install -n genome -y canu
mamba install -n genome y megahit
mamba install -n genome -y spades
#安装软件
mamba install conda-pack
#打包环境conda pack或者conda-pack都可以
mamba pack -n genome -o genome.tar.gz
# 解压到新环境
#首先创建文件夹
mkidr genome
tar -zxvf genome.tar.gz -C genome
#激活环境
mamba activate genome
source genome/bin/activate
apptainer
-y ppa:apptainer/ppa
apt update
apt install -y apptainer
apptainer pull docker://google/deepvariant
打包docker
国内使用不了docker,可以打包回去使用。
apt install -y podman*
docker pull google/deepvariant
docker images
docker save -o 7d046533d9e9.tar docker.io/google/deepvariant:latest
pigz 7d046533d9e9.tar
aws数据下载
aws s3 cp --no-sign-request s3://sra-pub-run-odp/sra/SRR1039510/SRR1039510 SRR1039510.sra
下载数据
使用prefetch直接下载NCBI SRA数据库,速度非常快。
prefetch SRR8482586 -p
prefetch SRR8494912 -p
prefetch SRR8494939 -p
传输文件
使用scp,sftp或者rsync等工具传到国内服务器上。然后写入自己的用户名和服务器地址即可。下条命令中地址需要自己修改。
rsync -avP --rsh='ssh' 7d046533d9e9.tar.gz abc123@xxx.xxx.xx.xx:~/