【教程】记录一下使用Wget批量下载遥感影像的实现过程

文摘   2025-01-09 23:41   北京  
Hello,大家好,这里是L兄。
相信不少学遥感、地理等学科的小伙伴都会用到遥感影像,有的时候数据量很大,但是数据又是在网页中以比较零散的形式呈现出来的。如果一个一个点击很浪费时间,这个时候就需要用到一个实用工具Wget,可以实现批量自动化下载。
具体使用过程可以参考徐老师的这篇推文,写得很详细。wget批量下载遥感影像。感谢徐老师!
对代码进行解析(以下载GLASS数据为例):
wget -m -np -nH --cut-dir=1 --wait=1  http://www.glass.umd.edu/BBE/MODIS/0.05D/2015/  -c -o MCD12Q1-data.log -btail -f 64  MCD12Q1-data.log
其中:
wget
是一个用于从网络下载文件的命令行工具。
-m
开启镜像模式(mirror)。它会递归地下载指定目录下的所有文件,并保存本地文件结构与远程目录一致。
-np
不进入父目录(no-parent)。只下载指定目录及其子目录的内容,避免下载上级目录的文件。
-nH
不创建主机目录(no-host-directories)。下载的文件将直接保存到当前目录,而不会创建远程主机名的文件夹。
--cut-dir=1
忽略1级目录。
--wait=1
每次请求之间等待 1 秒,避免对服务器造成过大负载。
http://www.glass.umd.edu/BBE/MODIS/0.05D/2015/
要下载的目标 URL,指定了 MODIS/0.05D/2015/ 目录。
-c
继续下载已中断的文件(continue)。如果某些文件已部分下载,wget 会从中断的位置继续下载,而不是重新开始。
-o MCD12Q1-data.log
将下载过程的日志输出保存到 MCD12Q1-data.log 文件中。
-b
后台运行(background)。命令启动后立即返回,下载任务在后台继续进行。
tail -f 1624 MCD12Q1-data.log

tail 是一个命令,用于动态查看文件内容:-f 表示持续跟踪日志文件的最新变化。这里 MCD12Q1-data.log 是日志文件的名称。

L兄在这里记录一下自己遇到的一些小问题以及解决办法。
情况1:
-bash: $'\E[200~wget'command not found

这个错误通常与终端中的非标准字符或转义字符相关,可能是在复制粘贴命令时引入了一些隐藏字符。

解决办法:

(1)将命令复制到.txt文本文件中,再从文本文件中复制到操作界面;

(2)手敲代码。

情况2:
wget: command not found
解决办法:
这种情况是在安装的时候没有勾选wget包。重新安装一遍即可。在界面上一定记得选择一个wget包安装上
最后就可以成功运行啦!
这里是L兄,祝你科研顺利,天天开心。
——————————————————————————————————
注:以上内容仅代表个人的科研过程经验记录,由于个人能力和水平的限制,仅供参考。不针对任何人、团体、单位或组织。不发表任何意见,不表达任何看法。若有不当之处,敬请谅解,欢迎批评指正。欢迎转载、转发本公众号发布的内容(请注明来源并添加公众号名片)。欢迎点赞收藏,点个关注不迷路,要是能请我吃一个脆脆鲨就更好啦<-.->

——END——


供稿|金光
审核|金光

双碳NetZero
专注于碳中和、碳达峰的知识、资讯和数据等相关内容。
 最新文章