如何使用Python抓取和优化所有网站图像.docx

第

如何使用Python抓取和优化所有网站图像

目录要求和假设安装模块导入Python模块启动网络爬网规范化和修剪爬网数据创建输出文件夹处理图像的网址流程映像优化图像结论我发布了一个通过FTP自动优化新图像的教程。这次我们将抓取整个网站，并在本地优化我们遇到的图像，按URL组织。

请注意，这个简短但中级的脚本不适用于大型站点。首先，所有图像都转储到一个文件夹中。为每个页面创建一个新文件夹并不困难，但即便如此，您也可能有数量无法管理的文件夹。未优化的图像仍然是未通过Web核心指标的罪魁祸首。让我们开始！

要求和假设

已安装Python3并理解基本的Python语法

访问Linux安装（我推荐Ubuntu）或宝塔

安装模块

在我们开始之前，请记住注意您在此处复制的任何内容的缩进，因为有时代码片段无法完美复制。下面的所有模块都应该在核心Python3中。我发现我需要将PIL更新到最新版本8.2，您可以通过终端中的以下命令执行此操作（如果使用GoogleColab，请在开头加上感叹号）：

另外，我们需要安装EliasDabbas的advertools模块

pip3installPIL--upgrade

pip3installadvertools

advertools：使用刮擦处理抓取pandas：帮助规范化爬网数据os：用于制作映像目录requests：用于下载图像PIL：处理图像压缩shutil：处理在本地保存图像

导入Python模块

让我们首先导入上面描述的这个脚本所需的模块。

importadvertoolsasadv

importpandasaspd

importos

importrequests#togetimagefromtheweb

importshutil#tosaveitlocally

fromPILimportImage

importPIL

启动网络爬网

我们需要做的第一件事是定义网络爬虫的起始URL。99%的时间这应该是你的主页。然后我们在advertools中运行adv.crawl（）函数，并将输出保存为crawl.jl，然后将其加载到crawlme数据帧中。此过程可能需要几分钟，具体取决于您的网站有多大。我不建议在页面或图像超过数万个的非常大的网站上使用此脚本。一般来说，爬虫非常快，只需几秒钟即可处理这个博客。另外，请注意，某些使用Cloudflare或其他防火墙的站点最终可能会在某个时候被阻止。

site_url=

adv.crawl(site_url,crawl.jl,follow_links=True)

crawlme=pd.read_json(crawl.jl,lines=True)

规范化和修剪爬网数据

使用我们的数据帧，我们可以开始规范化和修剪数据，使其仅满足我们的需要。通常有很多nan和空白值，因此我们删除这些行。

crawlme.dropna(how=all)

crawlme.drop(crawlme[crawlme[canonical]==nan].index,inplace=True)

crawlme.drop(crawlme[crawlme[img_src]==].index,inplace=True)

crawlme.reset_index(inplace=True)

爬网数据帧包含大量爬网数据。出于我们的目的，我们只需要规范列和img_src列。我们选择这些列并将它们转换为字典对象。

url_images=crawlme[[canonical,img_src]].to_dict()

接下来，我们设置一个计数器来帮助循环访问图像键和一个名为dupes的列表变量来存储我们已经处理过的图像的URL，这样我们就不会再次处理它们。

x=0

dupes=[]

创建输出文件夹

现在我们希望创建两个文件夹。一个用于存储原始文件，以防您需要还原它们，另一个文件夹用于存储优化的图像。如果这些文件夹已经存在，它只是将路径发送到变量中。

try:

path=os.getcwd()+/images/

optpath=os.getcwd()+/images_opt/

os.mkdir(path)

os.mkdir(optpath)

except:

path=os.getcwd()+/image