亚洲精品久久久中文字幕-亚洲精品久久片久久-亚洲精品久久青草-亚洲精品久久婷婷爱久久婷婷-亚洲精品久久午夜香蕉

您的位置:首頁技術文章
文章詳情頁

node.js - 對將近2000個網頁發起同時20個的并發請求,出去request請求失敗

瀏覽:164日期:2024-08-04 11:51:57

問題描述

代碼不長,如下,爬取的是 雪中悍刀行的所有章節內容

var http = require(’http’);var $ = require(’cheerio’);var async = require(’async’);var iconv = require(’iconv-lite’);var fs = require(’fs’);var chapterNo = 1;var url = ’http://www.biquku.com/0/761/’, hrefList = {};var curCount = 0;var getChapter = function(url, cb) { ++ curCount; console.log(’讀取:’ + url + ’中, 同時有’ + curCount + ’并發中’); var req = http.request(url, function(res) { var buffer_arr = []; var buffer_len = 0; if (res.statusCode == 200) { res.on(’data’, function(chunk) {buffer_arr.push(chunk);buffer_len += chunk.length; }); res.on(’end’, function() {var $content = $(iconv.decode(Buffer.concat(buffer_arr, buffer_len), ’gbk’)).find(’#content’).text();-- curCount;cb(null , $content); }) } else { console.log('status: ' + res.statusCode); getChapter(url, cb); } }); req.on(’error’, function(err) { console.log(’request-err’); console.error(err); }) req.end();}var req = http.request(url, function(res) { var buffer_arr = []; var buffer_len = 0; res.on(’data’, function(chunk) { buffer_arr.push(chunk); buffer_len += chunk.length; }); res.on(’end’, function() { var $html = $(iconv.decode(Buffer.concat(buffer_arr, buffer_len), ’gbk’)); var $urls = $html.find(’#list>dl>dd>a’); var $a = ’’; for (var i = 0; i < $urls.length; i++) { $a = $($urls[i]); hrefList[$a.text()] = (function(url) {return function(cb) { setTimeout(function() { getChapter(url, cb); }, 0)} })(url.concat($a.attr(’href’))); } console.time(’novel’); async.parallelLimit(hrefList, 20, function(err, res) { if (err) {console.log('parallel-err:');console.error(err); } else {for (var key of Object.keys(res)) { var fileName = ’./’ + key + ’.txt’; (function(key){ fs.writeFile(fileName, res[key], function(err) { if (err) {console.log(’writefile-err:’);console.error(err); } else {console.log(key + ’: success’); } }) })(key)}console.timeEnd(’novel’); } }) })})req.on(’error’, function(e) { console.error(e);})req.end();

然后下面是請求報錯的地方node.js - 對將近2000個網頁發起同時20個的并發請求,出去request請求失敗

希望大家能告訴我下,怎么解決呢?還有我這個算并發請求嗎,因為我是通過setTimeout(func,0)這樣來發起發起http請求的?經過后來測試發現,200多張能成功讀取,到了300就會發生錯誤了。。

問題解答

回答1:

你這個確實是并發請求,20個會不會有點多,可能這個服務器扛不住了吧。 調小一點比如10個或5個并發試試呢

更新:剛才在我電腦上跑了下你的這段代碼,沒有出現問題描述中的錯誤。大概也許還有個原因是你的網不行吧。

主站蜘蛛池模板: 日本二级黄色片 | 免费操片| 黄色在线视频在线观看 | 国产精品视频免费的 | 久夜色精品国产一区二区三区 | 亚洲精品欧洲一区二区三区 | 色狠狠成人综合网 | 国产精品一区视频 | 久久欧美精品欧美九久欧美 | 日本美女黄色一级片 | 黄色自拍 | 国产精久久一区二区三区 | 谁有免费黄色网址 | 日韩视频www | 欧美日在线 | 九九精品在线视频 | avav国产 | a一级免费| 亚洲黄色免费网址 | 欧美激情一区二区 | 国产日韩视频一区 | 国产性色视频在线高清 | 亚洲精品国产国语 | 久久精品欧美一区二区 | 欧美成人影院在线观看三级 | 国产毛片高清 | 亚洲高清日韩精品第一区 | 国产欧美一区二区三区在线 | 国产综合精品在线 | 啪啪日韩| 麻豆精品在线视频 | 亚洲欧美日韩国产专区一区 | 簧片视频在线观看 | 在线成人精品国产区免费 | 91免费国产高清在线 | 在线观看黄色一级片 | 成人福利在线免费观看 | 九九精品国产兔费观看久久 | 97香蕉超级碰碰碰久久兔费 | 成人欧美一区二区三区白人 | 国产亚洲精品自在久久不卡 |