文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：125日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是并發的數量，默認是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發寫起來，模型越復雜(如線程控制，線程狀態監控)，效率是越低的。
相關文章：
1. python - oslo_config2. python - 如何統計一份英文 API 開發文檔（如 javadoc文檔）的詞頻？3. mysql優化 - mysql 一張表如果不能確保字段列長度一致，是不是就不需要用到char。4. python - 請問這兩個地方是為什么呢？5. python - 為什么match匹配出來的結果是<_sre.SRE_Match object; span=(0, 54), match=’’>6. 請教一個mysql去重取最新記錄7. javascript - 按鈕鏈接到另一個網址 怎么通過百度統計計算按鈕的點擊數量8. 人工智能 - python 機器學習 醫療數據 怎么學9. 大家都用什么工具管理mysql數據庫？10. php - 有關sql語句反向LIKE的處理
排行榜
網公網安備