文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽：99日期：2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了，stop之后重新跑也沒有任何反應(yīng)，有人知道是怎么回事嗎？謝謝大家。
問題解答
回答1：放代碼吧 騷年
回答2：根據(jù) dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務(wù)fetcher 到 processor 也有100條隊列中的任務(wù)processor 下游都是空的
因為默認(rèn)的隊列容量為 100，這說明在 processor 發(fā)生了堵塞，那就要看 processor 在干什么，是不是死掉了。
上一條：網(wǎng)頁爬蟲 - python爬蟲翻頁問題，請問各位大神我這段代碼怎樣翻頁，還有價格要登陸后才能看到，應(yīng)該怎么解決下一條：python - 如何獲取rabbitmq連接的celery的個數(shù)
相關(guān)文章：
1. 我的html頁面一提交，網(wǎng)頁便顯示出了我的php代碼，求問是什么原因？2. 我在centos容器里安裝docker，也就是在容器里安裝容器，報錯了？3. 數(shù)據(jù)庫 - 使用讀寫分離后, MySQL主從復(fù)制延遲會導(dǎo)致讀不到數(shù)據(jù)嗎?4. tp6表單令牌5. docker 17.03 怎么配置 registry mirror ?6. 老哥們求助啊7. django - 后臺返回的json數(shù)據(jù)經(jīng)過Base64加密，獲取時用python如何解密~！8. node.js - node 客戶端socket一直報錯Error: read ECONNRESET，用php的socket沒問題哈。。9. 如何解決docker宿主機(jī)無法訪問容器中的服務(wù)？10. javascript - canvas 可以實現(xiàn) PS 魔法橡皮擦的功能嗎？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備