文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽：133日期：2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了，stop之后重新跑也沒有任何反應，有人知道是怎么回事嗎？謝謝大家。
問題解答
回答1：放代碼吧 騷年
回答2：根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100，這說明在 processor 發生了堵塞，那就要看 processor 在干什么，是不是死掉了。
相關文章：
1. 為什么我ping不通我的docker容器呢？？？2. android - webview 自定義加載進度條3. 將SQLServer數據同步到MySQL 用什么方法？4. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題5. numpy - python [:,2][:,None]是什么意思6. linux - openSUSE 上,如何使用 QQ?7. javascript - 微信音樂分享8. mysql優化 - 如何解決 MySQL 導入約 2G 的 SQL 報錯？9. javascript - vue引入微信jssdk 配置在哪個生命周期調取接口配置？10. javascript - 微信小程序限制加載個數
排行榜
網公網安備