問題描述

請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。

https://image.baidu.com/searc...

問題解答

在 settings.py 將 ROBOTSTXT_OBEY = False 試試。

不要加hearders試試

贊成樓上，如果還會被墻。可采用scrapy+selenium+phantomjs的方式。