文章詳情頁
各位python爬蟲大牛看過來,這個(gè)網(wǎng)站的反爬蟲怎么處理
瀏覽:93日期:2022-06-30 18:46:23
問題描述
https://www.everysaving.co.uk通過python爬取這個(gè)網(wǎng)站的數(shù)據(jù),然而返回不了數(shù)據(jù),!我加入了header和代理IP去抓取,也不行,望各位大牛們不妨試試看。。。
問題解答
回答1:代理訪問網(wǎng)站可見下圖:
通過https://www.17ce.com/,發(fā)現(xiàn)大陸幾乎都被屏蔽了,Http狀態(tài)返回403。此網(wǎng)站的安全策略級(jí)別比較高,建議使用歐美地區(qū)的高匿代理 VPN或者服務(wù)器,降低抓取頻次。
回答2:fiddler抓包,瀏覽器發(fā)什么你就發(fā)什么
回答3:你這個(gè)地址直接通過瀏覽器也訪問不了呀,被墻了吧?
回答4:我直接點(diǎn)開是不能訪問的,測試用了新加坡的代理可以打開
排行榜

熱門標(biāo)簽