文章詳情頁
python爬蟲防封IP的方法應(yīng)該放到代碼的哪個位置
瀏覽：72日期：2022-09-21 13:56:12
問題描述
想要爬豆瓣電影，但是很容易403，就想代理IP或者修改請求頭，但是看了很多資料，不知道他們那些代碼應(yīng)該放到整個程序的哪個位置，我用的是美麗湯和request，應(yīng)該增添什么代碼，增添到什么位置
問題解答
回答1：BeautifulSoup的中文名原來叫美麗湯。。。
吐槽完畢，服務(wù)端一般是通過IP報文來檢測請求的IP的地址的，所以單純的修改HTTP請求的內(nèi)容一般來說是不起作用的，最好的方式是使用 Requests 的代理功能來進行訪問，可以解除 IP 限制的問題。
回答2：請看看Python爬蟲聯(lián)想詞視頻和代碼https://zhuanlan.zhihu.com/p/...
跟黃哥學(xué)Python爬蟲抓取代理IP和驗證。https://zhuanlan.zhihu.com/p/...跟黃哥學(xué)Python爬蟲抓取代理IPhttps://zhuanlan.zhihu.com/p/...
相關(guān)文章：
1. javascript - 有適合開發(fā)手機端Html5網(wǎng)頁小游戲的前端框架嗎？2. javascript - arguments.callee3. javascript - js setTimeout在雙重for循環(huán)中如何使用？4. java - 線上應(yīng)用，如果數(shù)據(jù)庫操作失敗的話應(yīng)該如何處理？5. atom開始輸入！然后按tab只有空格出現(xiàn)沒有html格式出現(xiàn)6. node.js - 阿里云ECS，阿里云Docker，還有Leancloud的LeanEgine，哪個更適合NodeJs WebApp？7. java - 創(chuàng)建maven項目失敗了 求解決方法8. mac里的docker如何命令行開啟呢？9. mysql - 這種分級一對多，且分級不平衡的模型該怎么設(shè)計表？10. mysql - linux連接數(shù)據(jù)庫報錯
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備