文章詳情頁
網(wǎng)頁爬蟲 - 關(guān)于python beautifullsoup解析網(wǎng)頁內(nèi)容丟失的問題？
瀏覽：94日期：2022-09-23 08:23:07
問題描述
待解析頁面的部分代碼如第一幅圖所示，我自己寫的代碼及運(yùn)行結(jié)果如第二幅圖所示。看到已經(jīng)有答主提問解析頁面丟失是因?yàn)橛玫氖莑xml的解析方式，我想說我一直用的是html.parser的方式。希望各位大神不吝賜教~
問題解答
回答1：你們從來都不考慮javascript動(dòng)態(tài)加載的嗎？
回答2：題主，如果你用Chrome F12看的話，里面是會(huì)有動(dòng)態(tài)加載的內(nèi)容的，而這些內(nèi)容你直接請(qǐng)求頁面的url是拿不到的。建議你點(diǎn)右鍵查看網(wǎng)頁源代碼，對(duì)照著F12里面的內(nèi)容來看，源代碼里沒有的內(nèi)容，就去查看Network里的其他請(qǐng)求，看有沒有你需要的數(shù)據(jù)。
相關(guān)文章：
1. java - mongodb分片集群下，count和聚合統(tǒng)計(jì)問題2. javascript - vue 移動(dòng)端的input 數(shù)字輸入優(yōu)化3. java - 自己制作一個(gè)視頻播放器，遇到問題，用的是內(nèi)置surfaceview類，具體看代碼！4. javascript - 有什么兼容性比較好的辦法來判斷瀏覽器窗口的類型？5. 服務(wù)器端 - 采用nginx做web服務(wù)器，C++開發(fā)應(yīng)用程序 出現(xiàn)拒絕連接請(qǐng)求？6. 為什么我ping不通我的docker容器呢？？？7. python - pandas按照列A和列B分組，將列C求平均數(shù)，怎樣才能生成一個(gè)列A,B,C的dataframe8. 關(guān)于docker下的nginx壓力測試9. javascript - npm start 運(yùn)行’webpack-dev-server’報(bào)錯(cuò) Cannot find module ’webpack’10. java 隨機(jī)延遲執(zhí)行
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備