文章詳情頁
網(wǎng)頁爬蟲 - 關(guān)于python beautifullsoup解析網(wǎng)頁內(nèi)容丟失的問題？
瀏覽：118日期：2022-09-23 08:23:07
問題描述
待解析頁面的部分代碼如第一幅圖所示，我自己寫的代碼及運(yùn)行結(jié)果如第二幅圖所示。看到已經(jīng)有答主提問解析頁面丟失是因為用的是lxml的解析方式，我想說我一直用的是html.parser的方式。希望各位大神不吝賜教~
問題解答
回答1：你們從來都不考慮javascript動態(tài)加載的嗎？
回答2：題主，如果你用Chrome F12看的話，里面是會有動態(tài)加載的內(nèi)容的，而這些內(nèi)容你直接請求頁面的url是拿不到的。建議你點(diǎn)右鍵查看網(wǎng)頁源代碼，對照著F12里面的內(nèi)容來看，源代碼里沒有的內(nèi)容，就去查看Network里的其他請求，看有沒有你需要的數(shù)據(jù)。
相關(guān)文章：
1. php - 第三方支付平臺在很短時間內(nèi)多次異步通知,訂單多次確認(rèn)收款2. html5 - h5寫的app用的webview，用手機(jī)瀏覽器打開不顯示？3. css3 - css before 中文亂碼？4. mysql新建字段時 timestamp NOT NULL DEFAULT ’0000-00-00 00:00:00’ 報錯5. javascript - 百度echarts series數(shù)據(jù)更新問題6. Mysql && Redis 并發(fā)問題7. css - 求推薦幾款好用的移動端頁面布局調(diào)試工具呢？8. mysql - 一個表和多個表是多對多的關(guān)系，該怎么設(shè)計9. javascript - webpack --hot 熱重載無效的問題10. javascript - node服務(wù)端渲染的困惑
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備