linux环境下wget轻松下载整个或者指定目录的网站数据

当遇到一个网站或者一个网页上,有许许多多的文件。

依靠手工去一个一个点开下载确实非常的繁琐,最主要是累

下面就使用linux下面一个比较常用的工具wget来解决这个事情

举个例子

需要某个目录下面的所有文件

命令:

wget -c -r -np -k -L -p http://doc.test.com/lib/install/

有用到外部域名的图片或连接。如果需要同时下载就要用-H参数

wget -np -nH -r –span-hosts doc.test.com/lib/install/

参数详解:

-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录,如wget -c -r doc.test.com/lib/install/
没有加参数-np,就会同时下载install的上一级目录lib下的其它文件
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L 递归时不进入其它主机,如wget -c -r www.ivpsr.com
如果网站内有一个这样的链接:
www.ivpsr.com,不加参数-L,就会像大火烧山一样,会递归下载www.ivpsr.com网站
-p 下载网页所需的所有文件,如图片等
-A 指定要下载的文件样式列表,多个样式用逗号分隔
-i 后面跟一个文件,文件内指明要下载的URL

参数很是详细需要根据实际使用的时候自行搭配

上一篇 谷歌邮箱gmail注册解决可用国内手机接验证码简明详细教程2020.9.21
下一篇 debian系统中常用的vi命令使用和讲解

投稿邮箱:
ivpsr888@gmail.com (投稿详情)

TG订阅频道:
t.me/ivpsr_news 网站最新内容推送

TG交流群:
(点击加入) 用户交流

文章列表
1
madcityservers美国VPS $3.15/月起,最高5折优惠,单核AMD Ryzen/100GB NVMe/10Gbps带宽不限流量,洛杉矶/纽约/迈阿密/盐湖城机房
madcityservers美国VPS $3.15/月起,最高5折优惠,单核AMD Ryzen/100GB NVMe/10Gbps带宽不限流量,洛杉矶/纽约/迈阿密/盐湖城机房
2
无忧自动赚淘金币全部任务释放双手
无忧自动赚淘金币全部任务释放双手
3
Digital-VM:7折终生优惠码,VPS低至$2.8/月,独立服务器$56/月,10Gbps口大带宽,不限流量,8个机房:日本\新加坡\美国\英国\西班牙\荷兰\挪威\丹麦
Digital-VM:7折终生优惠码,VPS低至$2.8/月,独立服务器$56/月,10Gbps口大带宽,不限流量,8个机房:日本\新加坡\美国\英国\西班牙\荷兰\挪威\丹麦
4
windows10配置共享权限后提示你没有权限访问,请与网络管理员……的处理办法
windows10配置共享权限后提示你没有权限访问,请与网络管理员……的处理办法
5
Vultr在迈阿密科学沙龙上展示AI解决方案
Vultr在迈阿密科学沙龙上展示AI解决方案
6
JustHost俄罗斯莫斯科TTK机房真实测评数据,月付12元的200Mbps带宽的VPS如何
JustHost俄罗斯莫斯科TTK机房真实测评数据,月付12元的200Mbps带宽的VPS如何
7
Servarica加拿大VPS,$4/月起,AMD EPYC 双核/2GB/60GB NVMe/6TB流量,10Gbps或250M不限流量
Servarica加拿大VPS,$4/月起,AMD EPYC 双核/2GB/60GB NVMe/6TB流量,10Gbps或250M不限流量
8
win10 linux子系统 WSL自定义任意安装位置,C盘告别拥挤
win10 linux子系统 WSL自定义任意安装位置,C盘告别拥挤
9
cubecloud:#618优惠#,全场立减10元,300M香港CN2 GIA,2Gbps洛杉矶4837,2Gbps美国CN2 GIA,
cubecloud:#618优惠#,全场立减10元,300M香港CN2 GIA,2Gbps洛杉矶4837,2Gbps美国CN2 GIA,
10
安卓手机通过微信安装v2ray客户端详细步骤保姆教程
安卓手机通过微信安装v2ray客户端详细步骤保姆教程