文章詳情頁
python爬蟲防封IP的方法應該放到代碼的哪個位置
瀏覽：83日期：2022-09-21 13:56:12
問題描述
想要爬豆瓣電影，但是很容易403，就想代理IP或者修改請求頭，但是看了很多資料，不知道他們那些代碼應該放到整個程序的哪個位置，我用的是美麗湯和request，應該增添什么代碼，增添到什么位置
問題解答
回答1：BeautifulSoup的中文名原來叫美麗湯。。。
吐槽完畢，服務端一般是通過IP報文來檢測請求的IP的地址的，所以單純的修改HTTP請求的內容一般來說是不起作用的，最好的方式是使用 Requests 的代理功能來進行訪問，可以解除 IP 限制的問題。
回答2：請看看Python爬蟲聯想詞視頻和代碼https://zhuanlan.zhihu.com/p/...
跟黃哥學Python爬蟲抓取代理IP和驗證。https://zhuanlan.zhihu.com/p/...跟黃哥學Python爬蟲抓取代理IPhttps://zhuanlan.zhihu.com/p/...
相關文章：
1. windows - asp.net連接上mysql之后如何調用？比如下面的登錄驗證功能怎么實現2. 剛放到服務器的項目出現這中錯誤，有高手指點嗎3. css3 - Typecho 后臺部分表單按鈕在 Chrome 下出現靈異動畫問題，求解決4. apache - 想把之前寫的單機版 windows 軟件改成網絡版，讓每個用戶可以注冊并登錄。類似 qq 的登陸，怎么架設服務器呢？5. mysql - 面試題：如何把login_log表轉換成last_login表？6. javascript - nodejs實現異步時遇到的一個問題7. javascript - 為什么嵌套的Promise不能按預期捕獲Exception？8. javascript - 編程，算法的問題9. css - 手機qq打開網頁無法使用文件上傳功能?10. java - HTTPS雙向認證基礎上有無必要再進行加簽驗簽？
排行榜
網公網安備