文章詳情頁
python - Scrapy的spider在IDE中方便運行調(diào)試
瀏覽：66日期：2022-06-27 11:03:29
問題描述
我有很多spider，不能每次調(diào)試都手動創(chuàng)建一個debugger吧（scrapy crawl spider_name）
想可以在spider文件中直接右鍵運行/調(diào)試。
問題解答
回答1：參考文章：Scrapy爬蟲常見問題總結(jié)
spider方便運行/調(diào)試在spider文件中，加入cmdline的調(diào)用方法
import scrapy.cmdline#Your Spider Class...def main(): scrapy.cmdline.execute([’scrapy’, ’crawl’, ’your_spider_name’])if __name__ == ’__main__’: main()回答2：
新建一個py文件，用這個來調(diào)試
from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(['scrapy','crawl','YOUR_SPIDER'])
相關(guān)文章：
1. javascript - 在top.jsp點擊退出按鈕后，right.jsp進(jìn)行頁面跳轉(zhuǎn)，跳轉(zhuǎn)到login.jsp2. android - 哪位大神知道java后臺的api接口的對象傳到前端后輸入日期報錯，是什么情況？求大神指點3. java - spring-data Jpa 不需要執(zhí)行save 語句，Set字段就可以自動執(zhí)行保存的方法？求解4. css3 - 在sublime text里， 如何讓emmet生成的帶前綴css屬性垂直對齊？5. mac連接阿里云docker集群，已經(jīng)卡了2天了，求問？6. [前端求職必看]前端開發(fā)面試題與答案精選_擴(kuò)展問題7. javascript - js 有什么優(yōu)雅的辦法實現(xiàn)在同時打開的兩個標(biāo)簽頁間相互通信？8. javascript - jquery怎么給select option一個點擊時觸發(fā)的事件,如圖 如果選擇自定義觸發(fā)一個時間？9. css3 - Typecho 后臺部分表單按鈕在 Chrome 下出現(xiàn)靈異動畫問題，求解決10. html - CSS如何處理圖片縮放問題？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備