文章詳情頁
我要在命令行同時不間斷地運行八九個python爬蟲程序(爬不同的網站)?
瀏覽:99日期:2022-08-21 18:56:02
問題描述
但是過一段時間總有一兩個程序會無響應,好像是被掛起了,CPU占用率并不高,不到10%,內存占用也不算多,60%左右,爬蟲程序是去批量下載文件,平均每個幾兆到十幾兆。我設置了這幾個程序的優先級高于普通標準,但是還是會出現無響應的狀況。版本 python 2.7
求問:這個問題算不算進程被掛起?以及應該如何解決這個問題?
謝謝!
問題解答
回答1:這種問題得自己調,多打log
回答2:Python 有 GIL
相關文章:
1. javascript - 關于定時器 與 防止連續點擊 問題2. javascript - 求助關于js正則問題3. objective-c - ios百度地圖定位問題4. javascript - 求助這種功能有什么好點的插件?5. javascript - js 有什么優雅的辦法實現在同時打開的兩個標簽頁間相互通信?6. 為何 localStorage、sessionStorage 屬于html5的范疇,但是為何 IE8卻支持?7. html5 - rudy編譯sass的時候有中文報錯8. html - css 如何添加這種邊框?9. javascript - node.js服務端渲染解疑10. 微信開放平臺 - Android調用微信分享不顯示
排行榜
