文章詳情頁
python - scrapy抓取知網(wǎng)response的內(nèi)容重復
瀏覽：91日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結(jié)果response請求成功 但是每次內(nèi)容都一樣的沒變化都是第一次請求時的內(nèi)容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區(qū)別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關(guān)文章：
1. atom開始輸入！然后按tab只有空格出現(xiàn)沒有html格式出現(xiàn)2. javascript - js setTimeout在雙重for循環(huán)中如何使用？3. javascript - vue-cli npm run build編譯報錯4. mysql - 這種分級一對多，且分級不平衡的模型該怎么設(shè)計表？5. java - 創(chuàng)建maven項目失敗了 求解決方法6. javascript - 有適合開發(fā)手機端Html5網(wǎng)頁小游戲的前端框架嗎？7. javascript - arguments.callee8. python - pip install出現(xiàn)下面圖中的報錯 什么原因？9. java - 線上應(yīng)用，如果數(shù)據(jù)庫操作失敗的話應(yīng)該如何處理？10. node.js - 阿里云ECS，阿里云Docker，還有Leancloud的LeanEgine，哪個更適合NodeJs WebApp？
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備