文章詳情頁
python - scrapy 爬取pages比實際進入items的多得多?
瀏覽:91日期:2022-07-23 10:55:26
問題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items里沒有幾條數據入庫的有什么辦法解決么?
問題解答
回答1:重定向了,你看到了吧,重定向就得請求兩個頁面啊。還有就是看有不有頁面解析發生了錯誤。
相關文章:
排行榜
