文章詳情頁
python - 在編寫scrapy爬蟲的時候rules中allow的書寫問題
瀏覽：102日期：2022-08-01 16:58:44
問題描述
在編寫爬取58同城二手手機出售的信息的時候，rules里的allow應該怎么寫？它里面給出的下一頁或者第二頁第三頁等等的鏈接給出的都是縮減的鏈接，那么rules里的allow應該要怎么寫呢？有哪位高手可以指點一二嘛？謝謝~
問題解答
回答1：縮減的鏈接可以用urljoin()組合啊
相關文章：
1. 求救一下，用新版的phpstudy，數據庫過段時間會消失是什么情況？2. php工具箱配置第二個vhost主機時不生效，報錯You don’t have permission3. php - mysql 模糊搜索問題4. html - 爬蟲時出現“DNS lookup failed”，打開網頁卻沒問題，這是什么情況？5. javascript - 在 vue里面用import引入js文件，結果為undefined6. [python2]local variable referenced before assignment問題7. javascript - js setTimeout在雙重for循環中如何使用？8. php - 微信開發驗證服務器有效性9. javascript - 我的站點貌似被別人克隆了， google 搜索特定文章，除了域名不一樣，其他的都一樣，如何解決？10. javascript - 求幫助 , ATOM不顯示界面!!!!
排行榜
網公網安備