文章詳情頁
python - scrapy抓取知網response的內容重復
瀏覽：101日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結果response請求成功 但是每次內容都一樣的沒變化都是第一次請求時的內容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關文章：
1. thinkPHP5中獲取數據庫數據后默認選中下拉框的值，傳遞到后臺消失不見。有圖有代碼，希望有人幫忙2. python小白 關于類里面的方法獲取變量失敗的問題3. Python2中code.co_kwonlyargcount的等效寫法4. python小白，關于函數問題5. 求救一下，用新版的phpstudy，數據庫過段時間會消失是什么情況？6. javascript - 如何用最快的速度C#或Python開發一個桌面應用程序來訪問我的網站？7. mysql數據庫做關聯一般用id還是用戶名8. linux運維 - python遠程控制windows如何實現9. python - 如何對列表中的列表進行頻率統計？10. django - Python error: [Errno 99] Cannot assign requested address
排行榜
網公網安備