Linux 如何使用 wget 下载整个网站

关注

原创最新推荐文章于 2024-03-28 12:57:57 发布 1.7w 阅读 AI 写同款· GEO 优化 ›

限时加码！20+主流AI编程工具免费用购周边加赠Coding Plan Lite，Claude Code、Cursor等即刻畅享，学习进阶更高效！阅读详情

Linux 如何使用 wget 下载整个网站

近期要去缅甸呆半个月，想顺便把 W3SCHOOL.COM 上面的 HTML/CSS/JS/PHP 教程温习一遍。但是有一个问题，缅甸的网速很慢，我们住的酒店 wifi 不稳定，今年 1 月份和 6 月份我也在缅甸胶漂岛呆过，特别怀念我国的 4g 网络。所以，这次无论如何我要把 W3SCHOOL.COM 的内容离线下载下来。

wget 是用于从网站下载资源的 linux 命令，基本用法是 wget url:

wget http://www.w3schools.com/

一般来说，网站的页面会有很多链接，点击之后可以链接到其他页面，其他页面也可能有链接，就这样一级一级链接下去，如果要把这些所有关联的页面都下载下来，用法是：

wget -r http://www.w3schools.com/

但是大部分网站不允许你下载所有网站的内容，如果网站检测不到浏览器标识，会拒绝你的下载连接或者给你发送回一个空白网页。这个时候在 wget 后面加上 user-agent 就可以：

wget -r -p -U Mozilla http://www.w3schools.com/

为了避免被网站加入黑名单，我们可以限制下载的速度以及两次下载之间的等待时间：

wget --wait=20 --limit-rate=20K -r -p -U Mozilla http://www.w3schools.com/

如何只是想下载特定文件夹下的网页，使用 --no-parent:

//只下载 `/js` 下的所有页面
wget --wait=20 --limit-rate=20K --no-parent -r -p -U Mozilla http://www.w3schools.com/js/default.asp

更多内容请参考 GNU Wget Manual

收录于

web-前端

标签

#linux #网络

Linux命令：wget命令 wget命令是一种常用的网络工具，用于从Web服务器下载文件。wget命令基于HTTP、HTTPS和FTP协议从指定的URL下载文件。它可以在Linux和Unix系统的命令行中使用，并支持各种参数来定制下载行为。Wget也可以根据HTML、XHTML和CSS页面中的链接，创建远程网站的本地版本。Wget旨在应对缓慢或不稳定的网络连接;如果由于网络问题下载失败，它会不断重试，直到检索到整个文件。如果服务器支持重新获取，它会指示服务器从停止下载的地方继续下载。阅读详情

Linux 如何使用 wget 下载整个网站

Linux 如何使用 wget 下载整个网站

相关推荐