利用codespaces快速下载生物数据

文摘   其他   2024-12-12 08:04   辽宁  
Codespaces 是Github提供的一个github代码云开发环境,也就是可以将github的静态代码用一个云服务器(微软Azure云)运行起来,这里面提供了一个云服务器,我们就可以使用这个云服务器来进行下载数据。


Cloud Based Develop

cloud based develop,简称CDE,是一种比较流行的开发模式,基于云端环境的开发,也就是将开发环境部署在云端,这样的好处是快速部署,开箱即用,可重复,方便多处访问。目前有很多这样的工具,例如国外比较流行的coder,gitpod,国内有腾讯云的Cloud Studio,华为云的CodeArts。都是基于后端的云服务器提供一个网页端的在线开发平台。云服务器厂商希望你将开发工作移动到在线平台,然后使用其提供的云计算服务。
这些在线开发很多都提供免费版,在资源上和使用时间上做一些限制,如果有需要可以付费使用,非常的方便。

Codespaces平台

在所有的云端开发环境中不得不提一下Codespaces。一般的在线开发平台都需要一个云服务器,vscode网页端和github网站。而这三个微软都有。微软最擅长整合产品,就是将很多自家产品整合在一起,然后修改为默认设置,让用户习以为常,觉得理所当然。例如当年windows默认继承IE浏览器,office套件等等。
微软收购完github,推出了Github Codespaces平台,只需要在任何github页面中按“.”,自动打开code spaces。不过这种模式只是查看代码。与之类似的项目是github1s。


目前“更过分”,已经将Codespaces直接集成到Code中。只需要点开Code界面,就能直接将代码在Codespaces中打开。而在线的编辑器就是微软自家的Vscode。创建Codespaces则可以打开开发环境。

而背后的运算支撑则是微软自家的Azure云。该说不说啊,微软这套连招太厉害了。其他云平台和其他在线代码提供商完全没法比,这三个东西都是微软的。


免费使用Codespaces下载数据
令微软也万万没有想到的是,在遥远的东方,有个年轻人,从小就免费使用微软的windows和office,今天还要来免费使用微软的Codespaces。
Github Codespaces为每个用户提供了免费使用时长,GitHub 托管在虚拟机上运行的 Docker 容器中。可以从多种虚拟机类型中选择。免费版提供了两个可供选择,分别是 2 核、8 GB RAM 和 32 GB 存储和4 核、16 GB RAM 和 32 GB 存储。

相当于两个免费的Azure云服务器。可以直接在桌面版本的vscode中打开。
然后我们就可以在vscode中打开终端,然后在终端中运行各种Linux命令,例如这里我们简单的下载一个数据。

然后使用rsync将数据同步过自己服务器。

@wangtong ➜ /workspaces/gitpod (main) $ rsync -avP --rsh='ssh -p 10088' Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz bioinfo@v5.tongyuangene.com:~/The authenticity of host '[v5.tongyuangene.com]:10088 ([42.202.146.210]:10088)' can't be established.ECDSA key fingerprint is SHA256:ptU0B0LrVKeyNHDpT2Xu+vpRXmKoBQdkFytC4Iu5R1E.Are you sure you want to continue connecting (yes/no/[fingerprint])? yesWarning: Permanently added '[v5.tongyuangene.com]:10088,[42.202.146.210]:10088' (ECDSA) to the list of known hosts.bioinfo@v5.tongyuangene.com's password: sending incremental file listHomo_sapiens.GRCh38.dna.primary_assembly.fa.gz    471,269,376  53%   19.77MB/s    0:00:20

如果不差钱,直接在Azure上配置好生物信息分析环境进行计算也可以。不过从性价比角度,还是选择我们的共享生物云服务器更好,价格更加实惠。

基因学苑
生物云计算专家
 最新文章