21个你 应该知道的wget命令.docxVIP

最新整理资料 文档精选合集 \h 21 个你应该知道的 wget 命令 如何下载整个网站用来离线浏览？怎样将一个网站上的所有 MP3 文件保存到本地的一个目录中 ？怎么才能将需要登陆的网页后面的文件下载下来？怎样构建一个迷你版的Google？ wget 是一个自由的工具，可在包括 Mac，Window 和 Linux 在内的多个平台上使用，它可帮助你实现所有上述任务，而且还有更多的功能。与大多数下载管理器不同的是，wget可跟着网页上的HTTP链接，递归地下载相关的文件。 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 使用 wget 爬取网站—-20个实用例子 wget 是一个极为强大的工具，但和大部分其它命令行程序一样，它所支持的大量选项会吓跑新的用户。因而，这里我们会列出一些 wget 命令，以帮助你完成一些普通的任务，包括下载单个文件和对整个网站做备份，等。你如果有时间通读wget手册，自然会大受裨益。但是对于忙碌的人们来说，这里给出的却是随时可执行的命令。 1、从网上下载单个文件 wget \h /file.iso 2、下载一个文件，但以不同的名字存为本地文件wget --output-document=filename.html 或 wget -O filename.html 3、下载一个文件，存到指定的目录 wget --directory-prefix=folder/subfolder 4、恢复之前中断的 wget 下载 wget --continue /big.file.iso wget -c /big.file.iso 5、下载一个文件，但只在服务器上的版本比本地版本新时才会真正执行wget --continue --timestamping /latest.zip 6、用wget下载多个网址，这些网址保存在一个文本文件中，一行一个网址wget --input list-of-file-urls.txt 7、从服务器下载一些以连续序号为文件名的文件 wget \h /images/{1..20}.jpg wget \h /images/pre-{1..20}-post.jpg 8、下载一个网页，包括它所有的内容，比如样式表和包含的图片，它们是确保网 页离线显示所必需的 wget requisites --span-hosts --convert-links --adjust-extension \h /dir/file wget -p -H -k -E \h /dir/file 9、下载整个网站，包括它所有链接的页面和文件 wget --execute robots=off --recursive --no-parent --continue --no-clobber \h / wget -e robots=off -r -np -c -nc \h / 10、从网站上一个子目录中下载所有MP3文件 wget --level=1 --recursive --no-parent --accept mp3,MP3 \h /mp3/ wget -l 1 -r -np -A mp3,MP3 \h /mp3/ 11、将一个网站上的所有图片下载到同一个目录中 wget --directory-prefix=files/pictures --no-directories --recursive --no-clobber --accept jpg,gif,png,jpeg \h /images/ wget -P files/pictures -nd -r -nc -A jpg,gif,png,jpeg \h /images/ 12、从一个网站上下载PDF文件，采用递归的方式，但不跳出指定的网域 wget --mirror --domains=,, --accept=pdf \h / wget -m -D ,, -A pdf \h / 13、从一个网站上下载所有文件，但是排除某些目录 wget --recursive --no-clobber --no-parent --exclude-directories /forums,/