Node.js-使用 async 控制并发.pdfVIP

Node.j s －使⽤ async 控制并发 使⽤ async 控制并发 ⽬标 建⽴⼀个 lesson5 项⽬，在其中编写代码。 代码的⼊⼜是 app.js，当调⽤ node app.js 时，它会输出 CNode(https://cnodej / ) 社区⾸页的 有主题的标题，链接和第⼀条评论，以 j son 的格式。 注意：与上节课不同，并发连接数需要控制在 5 个。 输出⽰例： [ { title: 【公告】发招聘帖的同学留意⼀下这⾥, href: /topic/541ed2d05e28155f246 6a12 comment1: 呵呵呵呵 }, { title: 发布⼀款 Sublime Text 下的 JavaScript 语法⾼亮插件, href: /topic/5420 e2efffeb6de3d61f68f comment1: 沙发！ } ] 知识点 1. 学习 async(https://github .com/caolan/async ) 的使⽤。这⾥有个详细的 async demo 演⽰：https://github .com/alsotang/async_demo 2. 学习使⽤ async 来控制并发连接数。 课程内容 lesson 的代码其实是不完美的。为什么这么说，是因为在 lesson 中，我们⼀次性发 了 0 个并发请求出去，要知道，除去 CNode 的话，别的⽹站有可能会因为你发出的 并发连接数太多⽽当你是在恶意请求，把你的 IP 封掉。 我们在写爬⾍的时候，如果有 1000 个链接要去爬，那么不可能同时发出 1000 个并发 链接出去对不对？我们需要控制⼀下并发的数量，⽐如并发 10 个就好，然后慢慢抓 完这 1000 个链接。 ⽤ async 来做这件事很简单。 这次我们要介绍的是 async 的 mapLimit(arr, limit, iterator, callback) 接⼜。另外，还有个常⽤的控制并发连接数的接⼜是 queue(worker, concurrency)，⼤家可以去 https://github .com/caolan/async#queueworker-concurrency 看看说明。 这回我就不带⼤家爬⽹站了，我们来专注知识点：并发连接数控制。 对了，还有个问题是，什么时候⽤ eventproxy ，什么时候使⽤ async 呢？它们不都是 ⽤来做异步流程控制的吗？ 我的答案是： 当你需要去多个源(⼀般是⼩于 10 个)汇总数据的时候，⽤ eventproxy ⽅便；当你需要 ⽤到队列，需要控制并发数，或者你喜欢函数式编程思维时，使⽤ async 。⼤部分场 景是前者， 以我个⼈⼤部分时间是⽤ eventproxy 的。 正题开始。 ⾸先，我们伪造⼀个 fetchUrl(url, callback) 函数，这个函数的作⽤就是，当 你通过 fetchUrl(http://www ., function (err, content) { // do something with `content` }); 调⽤它时，它会返回 http://www . 的页⾯内容回来。 当然，我们这⾥的返回内容是假的，返回延时是随机的。并且在它被调⽤时，会告诉 你它现在⼀共被多少个地⽅并发调⽤着。 // 并发连接 的计 器 var concurrencyCount = 0; var fetchUrl = function (url, callback) { // delay 的值在 2000 以内，是个随机的整 var delay = parseInt((Math.random() * % 2000, 10); concurrencyCount++; console.log(现在的并发 是, concurrencyCount, ，正在抓取的是, ur setTimeout(function () { concurrencyCount--; callback(null, url + html content); }, delay); }; 我们接着来伪造⼀组链接 var urls = []; for(var i = 0; i 30; i+