相信不少学遥感、地理等学科的小伙伴都会用到遥感影像,有的时候数据量很大,但是数据又是在网页中以比较零散的形式呈现出来的。如果一个一个点击很浪费时间,这个时候就需要用到一个实用工具Wget,可以实现批量自动化下载。wget -m -np -nH --cut-dir=1 --wait=1 http://www.glass.umd.edu/BBE/MODIS/0.05D/2015/ -c -o MCD12Q1-data.log -b
tail -f 64 MCD12Q1-data.log
开启镜像模式(mirror)。它会递归地下载指定目录下的所有文件,并保存本地文件结构与远程目录一致。不进入父目录(no-parent)。只下载指定目录及其子目录的内容,避免下载上级目录的文件。不创建主机目录(no-host-directories)。下载的文件将直接保存到当前目录,而不会创建远程主机名的文件夹。每次请求之间等待 1 秒,避免对服务器造成过大负载。要下载的目标 URL,指定了 MODIS/0.05D/2015/ 目录。继续下载已中断的文件(continue)。如果某些文件已部分下载,wget 会从中断的位置继续下载,而不是重新开始。将下载过程的日志输出保存到 MCD12Q1-data.log 文件中。后台运行(background)。命令启动后立即返回,下载任务在后台继续进行。tail -f 1624 MCD12Q1-data.log
tail 是一个命令,用于动态查看文件内容:-f 表示持续跟踪日志文件的最新变化。这里 MCD12Q1-data.log 是日志文件的名称。
L兄在这里记录一下自己遇到的一些小问题以及解决办法。-bash: $'\E[200~wget': command not found
这个错误通常与终端中的非标准字符或转义字符相关,可能是在复制粘贴命令时引入了一些隐藏字符。
解决办法:
(1)将命令复制到.txt文本文件中,再从文本文件中复制到操作界面;
(2)手敲代码。
这种情况是在安装的时候没有勾选wget包。重新安装一遍即可。在界面上一定记得选择一个wget包安装上。——————————————————————————————————注:以上内容仅代表个人的科研过程经验记录,由于个人能力和水平的限制,仅供参考。不针对任何人、团体、单位或组织。不发表任何意见,不表达任何看法。若有不当之处,敬请谅解,欢迎批评指正。欢迎转载、转发本公众号发布的内容(请注明来源并添加公众号名片)。欢迎点赞收藏,点个关注不迷路,要是能请我吃一个脆脆鲨就更好啦<-.->。——END——