原创力文档- 1、本文档共10页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
;Scrapy性能问题-CPU饱和;Scrapy性能问题-CPU饱和; 在爬虫过程中，增加并发水平，但是性能没有增长。下载器的利用也很充分，但是每个请求的平均时间都很长。在Unix/Linux上使用top命令或者在Power Shell上使用ps或者在Windows上面使用任务管理器时，发现CPU的负载很高。; 首先运行以下的命令：
$ for concurrent in 25 50 100 150 200; do
time scrapy crawl speed -s SPEED_TOTAL_ITEMS=5000 -s CONCURRENT_REQUESTS=$concurrent
Done
; 然后得到抓取5000个URL所需的时间，如下面的表格所示，Expected栏是基于前面的分析得到的公式得来的，CPU负载是由top命令观察到的。
;解决方法; 假设码写得有效率，通过在相同的服务器上面运行多个Scrapy爬虫来得到比CONCURRENT_REQUESTS更大的并发水平。
如果其他的服务器或者程序中的pipeline衍生出去的线程对CPU的要求不高，这样可以更好地利用CPU。如果需要更高的并发，可以使用多个服务器来做个分布式的爬虫，在这种情况下同时需要更多的内存、网络带宽和硬盘的吞吐量。高并发水平下，CPU是主要的限制因素。
; 1.Scrapy性能问题-CPU饱和 2.解决方法
文档评论（0）