国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - 怎么查看網址做的是什么反爬蟲

瀏覽:138日期:2022-06-28 16:54:52

問題描述

網址:https://www.nvshens.com/g/22377/,該網站直接游覽器打開然后,點擊圖片右鍵是可以下載的,然后我爬蟲直接請求下來的圖片就已經被屏蔽了,然后我改了headers跟設置了ip代理,還是沒用。但抓包來看也不是動態加載的數據呀!!!求解答= =

python - 怎么查看網址做的是什么反爬蟲

問題解答

回答1:

妹子挺漂亮的哈。右鍵確實能打開,但是刷新一下就成盜鏈圖片了。一般防盜鏈,服務器端是會檢查請求頭里面的Referer字段,這就是為什么刷新后就不是原圖的原因(刷新后Referer變了)。python - 怎么查看網址做的是什么反爬蟲

img_url = 'https://t1.onvshen.com:85/gallery/21501/22377/s/003.jpg'r = requests.get(img_url, headers={’Referer’:'https://www.nvshens.com/g/22377/'}).contentwith open('00.jpg',’wb’) as f: f.write(r)回答2:

獲取圖片時抓包看漏什么參數沒。

回答3:

光顧著看網站內容,差點忘記了正式了。你可以把你請求的信息全部按照

python - 怎么查看網址做的是什么反爬蟲

然后在試試

回答4:

Referer 照這網站的設計應該是各別的頁面會比較符合假裝是人的行為,而并不是用單一的Referer以下是完整能跑的代碼,抓18頁所有的圖片

# Putting all togetherdef url_guess_src_large (u): return ('https://www.nvshens.com/img.html?img=' + ’/’.join(u.split(’/s/’)))# 下載函數def get_img_using_requests(url, fn ): import shutil headers [’Referer’] = url_guess_src_large(url) #'https://www.nvshens.com/g/22377/' print (headers) response = requests.get(url, headers = headers, stream=True) with open(fn, ’wb’) as out_file:shutil.copyfileobj(response.raw, out_file) del responseimport requests# 用xpath擷取內容from lxml import etreeurl_ = ’https://www.nvshens.com/g/22377/{p}.html’ headers = { 'Connection' : 'close', # one way to cover tracks 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2900.1 Iron Safari/537.36}'}for i in range(1,18+1): url = url_.format(p=i) r = requests.get(url, headers=headers) html = requests.get(url,headers=headers).content.decode(’utf-8’) selector = etree.HTML(html) xpaths = ’//*[@id='hgallery']/img/@src’ content = [x for x in selector.xpath(item)] urls_2get = [url_guess_src_large(x) for x in content] filenames = [os.path.split(x)[0].split(’/gallery/’)[1].replace('/','_') + '_' + os.path.split(x)[1] for x in urls_2get] for i, x in enumerate(content):get_img_using_requests (content[i], filenames[i])

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 99久久99久久精品免费看子 | 欧美一级三级在线观看 | 国产亚洲一路线二路线高质量 | 香蕉网影院在线观看免费 | 国产中文字幕视频在线观看 | 日韩一级片在线免费观看 | 久久久久女人精品毛片 | fc2久久| 牛人国产偷窥女洗浴在线观看 | 国产一级视频在线观看 | 亚洲天堂男人 | 国产精品久久久久久久久久98 | 日韩在线视频免费不卡一区 | 成 人 免费 网站 | 中文字幕一区二区视频 | 久久成人福利视频 | 深夜国产成人福利在线观看女同 | 亚洲精品国产精品国自产 | 成人午夜亚洲影视在线观看 | 亚洲伊人色综合网站亚洲伊人 | 老色99久久九九精品尤物 | a毛片免费在线观看 | 日本乱人伦毛片 | 97久久曰曰久久久 | 中文字幕精品一区二区精品 | 精品三级网站 | 亚洲欧美在线观看视频 | 亚洲 欧美 日韩在线 | 亚洲天堂一区二区在线观看 | 免费观看欧美一级片 | 中文字幕一级片 | 亚洲va久久久噜噜噜久久狠狠 | 男人精品一线视频在线观看 | 国产精品视频免费播放 | 亚洲在线高清 | 久草小视频 | 92av在线 | 亚洲欧美天堂 | 国产成人午夜福在线观看 | 七七国产福利在线二区 | 久久香蕉国产观看猫咪3atv |