文章詳情頁(yè)
python - 爬取某網(wǎng)站時(shí)需要瀏覽器刷新一次才能返回真實(shí)的頁(yè)面數(shù)據(jù)？
瀏覽：80日期：2022-08-10 17:31:34
問(wèn)題描述
請(qǐng)求所需參數(shù)全部帶上了，并且已帶上cookies,已修改header，拿到的數(shù)據(jù)是提示刷新的HTML，如圖：
原網(wǎng)頁(yè)是動(dòng)態(tài)加載的瀑布流，即往不斷下拉就不斷有內(nèi)容呈現(xiàn)出來(lái)，靜候大神，目前采用scrapy框架，暫時(shí)還不想上selenium+phantomjs，太重了
問(wèn)題解答
回答1：動(dòng)態(tài)加載的數(shù)據(jù)你應(yīng)該找ajax api請(qǐng)求，而不是在網(wǎng)頁(yè)找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個(gè)代理ip網(wǎng)頁(yè)，使用cookie但是報(bào)錯(cuò)好解決多了＝＝，你完全可以判斷當(dāng)前頁(yè)面內(nèi)容然后進(jìn)行模擬刷新～ 重要的是保持會(huì)話(huà)。
如果還不行的話(huà)，可以加referer再試一試
相關(guān)文章：
1. 如何修改phpstudy的phpmyadmin放到其他地方2. java 排序的問(wèn)題3. 我的html頁(yè)面一提交，網(wǎng)頁(yè)便顯示出了我的php代碼，求問(wèn)是什么原因？4. 網(wǎng)絡(luò)傳輸協(xié)議 - 以下三種下載方式有什么不同？如何用python模擬下載器下載？5. angular.js - Angular路由和express路由的組合使用問(wèn)題6. 我在centos容器里安裝docker，也就是在容器里安裝容器，報(bào)錯(cuò)了？7. tp6表單令牌8. 老哥們求助啊9. php - mysql中，作為主鍵的字段，用int類(lèi)型，是不是比用char類(lèi)型的效率更高？10. django - 后臺(tái)返回的json數(shù)據(jù)經(jīng)過(guò)Base64加密，獲取時(shí)用python如何解密~！
排行榜
熱門(mén)標(biāo)簽
網(wǎng)公網(wǎng)安備