文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：114日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是并發的數量，默認是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發寫起來，模型越復雜(如線程控制，線程狀態監控)，效率是越低的。
相關文章：
1. Java反射問題：為什么android.os.Message的recycleUnchecked方法不能通過反射獲取到？2. 如何分別在Windows下用Winform項模板+C#，在MacOSX下用Cocos Application項目模板+Objective-C實現一個制作游戲的空的黑窗口？3. html5和Flash對抗是什么情況？4. php如何獲取訪問者路由器的mac地址5. javascript - 在 vue里面用import引入js文件，結果為undefined6. 前端 - node vue webpack項目文件結構7. 小程序怎么加外鏈，語句怎么寫！求救新手，開文檔沒發現8. python - linux怎么在每天的凌晨2點執行一次這個log.py文件9. javascript - vue-resource中如何設置全局的timeout？10. thinkPHP5中獲取數據庫數據后默認選中下拉框的值，傳遞到后臺消失不見。有圖有代碼，希望有人幫忙
排行榜
網公網安備