简明使用亚马逊AWS CLI S3下载SpaceNet遥感数据集教程

简介

我们下载SpaceNet遥感数据集的时候,肯定会用到一个亚马逊的S3账号,但是这个账号搞起来比较麻烦,新手肯定会遇到很多问题,这里我就来指引一下大家

 

注册

果没有亚马逊AWS的账号,先去官网注册一个

https://aws.amazon.com/cn

进入官网点搜索框输入——S3进行搜索

- 1602597354 5d518828ff221e1

SpaceNet数据存放在S3服务上,所以账号必去登录S3服务才能下载数据,普通账号默认没有登录S3服务

将刚刚注册好的账号到S3服务进行登录

- 1602597466 8a993752e9658af

AWS登录S3服务需要添加信用卡。现在AWS支持国内的信用卡,

所以不用大费周折去弄国际信用卡,这里我们添加自己的信用卡,用人民币结账就行

这一步必须要成功,否则后面流程进行不下去

- 1602597739 317823ff7efb55a

创建用户

登录成功后如下图,我们开始创建用户

- 1602597853 1a785dbb9ad6943

点击右上角,(My Security Credentials)我的安全凭证

- 1602597998 c20ef55b3b45374

点击用户——添加用户(我这里已经添加了一个SpanceNet-2的号了)

- 1602598176 71094f2fa8e27b7

用户名: SpaceNet-1
访问类型: 编程访问

- 1602598297 1e15d3e298fda3d

选择直接附加到现有策略,因为数据集是存放在S3服务上

所以这里搜索所有S3策略给创建的用户

- 1602598404 0c4ca19510ac0c7

默认下一步,直到创建用户完成

系统会给一个访问密钥 ID、私有访问密钥

下载.CSV文件保存这些信息

- 1602598728 b2a88c5402ee66d

下载安装

访问亚马逊AWS CLI的工具进行安装(我这里下载windows系统版本的演示)

AWS CLI windows版本地址
https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2-windows.html

Windows(64位)的AWS CLI MSI安装程序
https://awscli.amazonaws.com/AWSCLIV2.msi

默认安装即可

- 1602599285 c98f997f90a27e7

安装完毕我们去CMD进行测试,输入aws help

显示如下图,则环境安装成功

- 1602599444 1fdc68091fb8448

本地配置秘钥

管理员方式运行CMD并输入
cd /d C:\Program Files\Amazon\AWSCLIV2\

如果有多个账户可以设置一个默认用户,使用以下命令(没有则忽略)
set AWS_DEFAULT_PROFILE=SpaceNet-1

配置证书
aws configure

- 1602599868 e0a92e544bacbd3

  1. AWS Access Key ID [None]: 密钥 ID
  2. AWS Secret Access Key [None]: 私有访问密钥
  3. Default region name [None]: us-west-2
  4. Default output format [None]: json

 

SpaceNet下载

SpaceNet遥感数据集下载

https://spacenetchallenge.github.io/

查看

查看数据列表

aws s3 ls s3://spacenet-dataset/ --request-payer requester

- 1602600262 2512d49f80fa087

下载数据——以AOIs为例

先获取列表
aws s3 ls s3://spacenet-dataset/AOIs/ --request-payer requester

- 1602600456 1b25e9e4bc76a58

下载s3

我下载AOI_4shanghai的,先获取
aws s3 ls s3://spacenet-dataset/AOIs/AOI_4_Shanghai/ --request-payer requester

下载数据示例
aws s3 cp s3://spacenet-dataset/AOIs/AOI_4_Shanghai . --recursive

aws s3 cp s3://arn:aws:s3:us-east-1:604877620213:accesspoint/dfdc-data-ap-1/test/metadata.json . --request-payer --region=us-east-1



比如下载到D盘
aws s3 cp s3://spacenet-dataset/AOIs/AOI_4_Shanghai d:\ 

- 1602600784 55364884c23bd9c

同步s3示例
aws s3 sync --no-sign-request s3://openneuro.org/ds002870 ds002870-download/

 

为避免数据下载中断建议数据一个一个的下载,例如定位到AOI_4_Shanghai文件夹

该命令会将AOI_4_Shanghai文件夹下所有数据下载到当前(不能自定下载目录)

注意不包括AOI_4_Shanghai自身(注意路径结尾的 “.”   有空格且不能省略,否则下载失败)

上一篇 debian系统中常用的vi命令使用和讲解
下一篇 Chrome谷歌浏览器强行突破被禁止复制的网页内容

投稿邮箱:
ivpsr888@gmail.com (投稿详情)

TG订阅频道:
t.me/ivpsr_news 网站最新内容推送

TG交流群:
(点击加入) 用户交流

文章列表
1
DediPath优惠码和2023年最新打折活动整理
DediPath优惠码和2023年最新打折活动整理
2
LisaHost:越南双ISP原生住宅VPS 629元/年,1GB内存/20GB NVMe/1TB流量/200Mbps带宽
LisaHost:越南双ISP原生住宅VPS 629元/年,1GB内存/20GB NVMe/1TB流量/200Mbps带宽
3
DesiVPS美国VPS测评,原生IP,解锁Netflix/ChatGPT等,圣何塞机房
DesiVPS美国VPS测评,原生IP,解锁Netflix/ChatGPT等,圣何塞机房
4
justhost日本新加坡VPS限时5折起,大带宽不限流量/支持免费50次IP切换
justhost日本新加坡VPS限时5折起,大带宽不限流量/支持免费50次IP切换
5
配置WSL2使用本机v2ray代理新手保姆教程
配置WSL2使用本机v2ray代理新手保姆教程
6
OneTechCloud:简单测评易科云美国三网CN2 GIA的VPS,还解锁Netflix看看怎么样
OneTechCloud:简单测评易科云美国三网CN2 GIA的VPS,还解锁Netflix看看怎么样
7
RAKsmart CN2优化独立服务器$59/月起,E5-2630L/16GB/1TB硬盘/50M带宽,香港/日本机房
RAKsmart CN2优化独立服务器$59/月起,E5-2630L/16GB/1TB硬盘/50M带宽,香港/日本机房
8
Digital-VM:7折终生优惠码,VPS低至$2.8/月,独立服务器$56/月,10Gbps口大带宽,不限流量,8个机房:日本\新加坡\美国\英国\西班牙\荷兰\挪威\丹麦
Digital-VM:7折终生优惠码,VPS低至$2.8/月,独立服务器$56/月,10Gbps口大带宽,不限流量,8个机房:日本\新加坡\美国\英国\西班牙\荷兰\挪威\丹麦
9
TmhHost的美国洛杉矶Cera CN2 GIA机房VPS简单测评,TmhHost怎么样实测数据分享给你
TmhHost的美国洛杉矶Cera CN2 GIA机房VPS简单测评,TmhHost怎么样实测数据分享给你
10
locvps全球云:香港VPS/高配/7折优惠,66元/月,6G内存/2核/60gSSD/不限流量,支持Windows
locvps全球云:香港VPS/高配/7折优惠,66元/月,6G内存/2核/60gSSD/不限流量,支持Windows