文章詳情頁(yè)
python - 使用scrapy框架爬百度圖片被墻
瀏覽：102日期：2022-06-30 14:19:37
問(wèn)題描述
請(qǐng)求地址url是通過(guò)firefox查看得到的json的地址，用瀏覽器可以打開(kāi)，但是用scrapy爬的時(shí)候就被ban了求解決辦法。
https://image.baidu.com/searc...
問(wèn)題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會(huì)被墻。可采用scrapy+selenium+phantomjs的方式。
相關(guān)文章：
1. mac OSX10.12.4 (16E195)下Mysql 5.7.18找不到配置文件my.cnf2. mysql - 數(shù)據(jù)庫(kù)表中，兩個(gè)表互為外鍵參考如何解決3. 在mybatis使用mysql的ON DUPLICATE KEY UPDATE語(yǔ)法實(shí)現(xiàn)存在即更新應(yīng)該使用哪個(gè)標(biāo)簽?4. mysql - 數(shù)據(jù)庫(kù)建字段，默認(rèn)值空和empty string有什么區(qū)別 1105. mysql儲(chǔ)存json錯(cuò)誤6. sql語(yǔ)句 - 如何在mysql中批量添加用戶？7. mysql - 表名稱前綴到底有啥用？8. php - 公眾號(hào)文章底部的小程序二維碼如何統(tǒng)計(jì)？9. Navicat for mysql 中以json格式儲(chǔ)存的數(shù)據(jù)存在大量反斜杠，如何去除？10. mysql - 怎么生成這個(gè)sql表？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備