問題描述

用scrapy+redis+mongodb寫了個爬蟲，運行時不能爬取所有符合規則的網址，猜想是不是redis需要進行設置之類的，求高手解答。

問題解答

說的具體一點啊，你這樣說我也不清楚到底是哪里有問題,貼出錯誤代碼或者提示大家一起看看