Python并发与并行的新手指南.pdfVIP

心之所向，所向披靡 Python 并发与并行的新手指南 在批评 Python 的讨论中，常常说起 Python 多线程是多么的难用。还有人对 global interpreter lock( 也被亲切的称为“ GIL ”)指指点点，说它阻碍了 Python 的多线程程序同 时运行。因此，如果你是从其他语言（比如 C++ 或 Java ）转过来的话， Python 线程模块 并不会像你想象的那样去运行。 必须要说明的是， 我们还是可以用 Python 写出能并发或并 行的代码，并且能带来性能的显著提升，只要你能顾及到一些事情。如果你还没看过的话， 我建议你看看 Eqbal Quran 的文章《 Ruby 中的并发和并行 》。 在本文中，我们将会写一个小的 Python 脚本，用于下载 Imgur 上最热门的图片。我 们将会从一个按顺序下载图片的版本开始做起， 即一个一个地下载。 在那之前， 你得注册一 个 Imgur 上的应用 。如果你还没有 Imgur 账户，请先注册一个。 本文中的脚本在 Python3.4.2 中测试通过。稍微改一下，应该也能在 Python2 中运行 —— urllib 是两个版本中区别最大的部分。 开始动手 让我们从创建一个叫“ download.py ”的 Python 模块开始。这个文件包含了获取图 片列表以及下载这些图片所需的所有函数。我们将这些功能分成三个单独的函数： get_links download_link setup_download_dir 第三个函数， “setup_download_dir ”，用于创建下载的目标目录 （如果不存在的话） 。 Imgur 的 API 要求 HTTP 请求能支持带有 client ID 的“ Authorization ”头部。你可以从 你注册的 Imgur 应用的面板上找到这个 client ID ，而响应会以 JSON 进行编码。我们可以 使用 Python 的标准 JSON 库去解码。下载图片更简单，你只需要根据它们的 URL 获取图 片，然后写入到一个文件即可。 代码如下： import json import logging import os from pathlib import Path from urllib.request import urlopen, Request logger = logging.getLogger(__name__) def get_links(client_id): headers = {Authorization: Client-ID {}.format(client_id)} req = Request(/3/gallery/, headers=headers, method=GET) with urlopen(req) as resp: data = json.loads(resp.readall().decode(utf-8)) return map(lambdaitem: item[link], data[data]) def download_link(directory, link): (Downloading %s, link) download_path = directory / os.path.basename(link) with urlopen(link) as image, download_path.open(wb) as f: f.write(image.readall()) def se