文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：98日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻?？刹捎胹crapy+selenium+phantomjs的方式。
相關文章：
1. html5 - h5寫的app用的webview，用手機瀏覽器打開不顯示？2. javascript - 百度echarts series數據更新問題3. javascript - node服務端渲染的困惑4. php - 第三方支付平臺在很短時間內多次異步通知,訂單多次確認收款5. python - django 按日歸檔統計訂單求解6. mysql - 一個表和多個表是多對多的關系，該怎么設計7. 請教一個python字符串處理的問題？8. 我在導入模板資源時遇到無法顯示的問題，請老師解答下9. mysql scripts提示 /usr/bin/perl: bad interpreter10. mysql新建字段時 timestamp NOT NULL DEFAULT ’0000-00-00 00:00:00’ 報錯
排行榜
網公網安備