文章詳情頁
python - Scrapy的spider在IDE中方便運(yùn)行調(diào)試
瀏覽：77日期：2022-06-27 11:03:29
問題描述
我有很多spider，不能每次調(diào)試都手動創(chuàng)建一個debugger吧（scrapy crawl spider_name）
想可以在spider文件中直接右鍵運(yùn)行/調(diào)試。
問題解答
回答1：參考文章：Scrapy爬蟲常見問題總結(jié)
spider方便運(yùn)行/調(diào)試在spider文件中，加入cmdline的調(diào)用方法
import scrapy.cmdline#Your Spider Class...def main(): scrapy.cmdline.execute([’scrapy’, ’crawl’, ’your_spider_name’])if __name__ == ’__main__’: main()回答2：
新建一個py文件，用這個來調(diào)試
from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(['scrapy','crawl','YOUR_SPIDER'])
相關(guān)文章：
1. mysql - 請問數(shù)據(jù)庫字段為年月日，傳進(jìn)的參數(shù)為月，怎么查詢那個月所對應(yīng)的數(shù)據(jù)2. node.js - win 下 npm install 遇到了如下錯誤 會導(dǎo)致 無法 run dev么？3. javascript - 我的站點(diǎn)貌似被別人克隆了， google 搜索特定文章，除了域名不一樣，其他的都一樣，如何解決？4. 求救一下，用新版的phpstudy，數(shù)據(jù)庫過段時間會消失是什么情況？5. [python2]local variable referenced before assignment問題6. Python2中code.co_kwonlyargcount的等效寫法7. html - 移動端radio無法選中8. php - 微信開發(fā)驗(yàn)證服務(wù)器有效性9. javascript - vue+iview upload傳參失敗 跨域問題后臺已經(jīng)解決 仍然報403，這是怎么回事啊？10. mysql - 如何在有自增id的情況下，讓其他某些字段能不重復(fù)插入
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備