国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python爬蟲快速響應服務器的做法

瀏覽:80日期:2022-07-04 14:17:29

不論是打開網頁或者爬取一些資料的時候,我們想要的是計算機能在最短的時間內運行出結果,不然等待的時間過長會影響下一步工作的計劃。這時候我們可以給計算機一個指令,限制最久能等待的時間,在我們能接受的時間內運行出結果。那么這個指令方法是什么呢?接下來我們一起看看吧。

requests之所以稱為“HTTP for human”,因為其封裝層次很高,其中一處體現就在:requests會自動處理服務器響應的重定向。我在做搜狗微信公眾號抓取的時候,搜狗搜索列表頁面的公眾號文章地址,其實不是微信的地址而需要請求到搜狗到服務器做重定向,而requests的默認處理則是將整個過程全部搞定,對此可以這樣:

In [1]: r = requests.get(’http://xlzd.me’, allow_redirects=False)

allow_redirects參數為False則表示不會主動重定向。

另外,有時候對方網站的響應時間太長了,我們希望在指定時間內完事,或者直接停止這個請求,這時候的做法是:

In [1]: r = requests.get(’http://xlzd.me’, timeout=3)

timeout表示這次請求最長我最長只等待多少秒

拓展:

為requests套上一層代理的做法也非常簡單:

import requestsproxies = { 'http': 'http://192.168.31.1:3128', 'https': 'http://10.10.1.10:1080',}requests.get('http://xlzd.me', proxies=proxies)

到此這篇關于python爬蟲快速響應服務器的做法的文章就介紹到這了,更多相關python爬蟲中如何快速響應服務器內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 久久久久久一级毛片免费野外 | 亚洲免费视频一区 | 日本一区二区三区不卡视频中文字幕 | 欧美日本免费观看αv片 | 午夜免费一级片 | 中文字幕乱码中文乱码51精品 | 亚洲欧美精品一中文字幕 | 亚洲一级在线观看 | 国产精品久久久影院 | 国产成人麻豆tv在线观看 | 欧美大尺度xxxxx视频 | 2018av男人天堂 | 亚洲天堂视频在线免费观看 | 农村三级孕妇视频在线 | 边接电话边做国语高清对白 | 三级视频欧美 | 成人国产精品一级毛片了 | 久草在线国产 | 国产啪精品视频网免费 | 亚洲国产精品一区二区三区在线观看 | 欧美久 | 丝袜一级片 | 亚洲美女视频网 | 日本一级特黄特色大片免费视频 | 国产欧美日韩一区 | 国内自拍视频在线播放 | 成人做爰全视频 | 国产一区在线免费观看 | 欧美jizzhd欧美精品 | 在线国产视频 | 免费国产成人午夜在线观看 | 日韩亚洲欧美综合一区二区三区 | 国产一级aaa全黄毛片 | 国产高清视频免费在线观看 | 日本三级香港三级三级人 | 欧美日韩高清性色生活片 | 欧美成人久久久 | 日本欧美久久久久免费播放网 | 国产成人精品aaaa视频一区 | 成人牲交一极毛片 | 国产孕妇做受视频在线观看 |