国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術(shù)文章
文章詳情頁

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

瀏覽:109日期:2022-07-13 17:30:03

在使用python爬蟲技術(shù)采集數(shù)據(jù)信息時,經(jīng)常會遇到在返回的網(wǎng)頁信息中,無法抓取動態(tài)加載的可用數(shù)據(jù)。例如,獲取某網(wǎng)頁中,商品價格時就會出現(xiàn)此類現(xiàn)象。如下圖所示。本文將實現(xiàn)爬取網(wǎng)頁中類似的動態(tài)加載的數(shù)據(jù)。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

1. 那么什么是動態(tài)加載的數(shù)據(jù)?

我們通過requests模塊進行數(shù)據(jù)爬取無法每次都是可見即可得,有些數(shù)據(jù)是通過非瀏覽器地址欄中的url請求得到的。而是通過其他請求請求到的數(shù)據(jù),那么這些通過其他請求請求到的數(shù)據(jù)就是動態(tài)加載的數(shù)據(jù)。(猜測有可能是js代碼當(dāng)咱們訪問此頁面時就會發(fā)送得get請求,到其他url中獲取數(shù)據(jù))

2. 如何檢測網(wǎng)頁中是否存在動態(tài)加載得數(shù)據(jù)?

在當(dāng)前頁面中打開抓包工具,捕獲到地址欄中的url對應(yīng)的數(shù)據(jù)包,在該數(shù)據(jù)包的response選項卡搜索我們想要爬取的數(shù)據(jù),如果搜索到了結(jié)果則表示數(shù)據(jù)不是動態(tài)加載的,否則表示數(shù)據(jù)為動態(tài)加載的。如圖所示:

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

或者鼠標(biāo)右鍵單擊要爬取的頁面顯示網(wǎng)頁源代碼搜索我們想要爬取的數(shù)據(jù),如果搜索到了結(jié)果則表示數(shù)據(jù)不是動態(tài)加載的,否則表示數(shù)據(jù)為動態(tài)加載的。如圖所示:

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

3. 如果數(shù)據(jù)為動態(tài)加載,那么我們?nèi)绾尾东@到動態(tài)加載的數(shù)據(jù)?

在實現(xiàn)爬取動態(tài)加載的數(shù)據(jù)信息時,首先需要在瀏覽器的網(wǎng)絡(luò)監(jiān)視器中根據(jù)動態(tài)加載的技術(shù)選擇網(wǎng)絡(luò)請求的類型,然后通過逐個篩選的方式查詢預(yù)覽信息中的關(guān)鍵數(shù)據(jù),并獲取對應(yīng)的請求地址,最后進行信息的解析工作即可。具體步驟如下:

在瀏覽器中快捷鍵F12打開開發(fā)者工具,然后選擇Network(網(wǎng)絡(luò)監(jiān)視器)并在網(wǎng)絡(luò)類型中選擇JS,再按快捷鍵F5刷新,如下圖所示。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

在請求信息的列表中,依次單擊每個請求信息,然后在對應(yīng)的Preview(請求結(jié)果預(yù)覽)中核對是否為需要獲取的動態(tài)加載數(shù)據(jù),如下圖所示。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

動態(tài)加載的數(shù)據(jù)信息核對完成后,單擊Headers獲取當(dāng)前的網(wǎng)絡(luò)請求地址以及所需參數(shù),如下圖所示。

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

根據(jù)以上步驟獲取到的請求地址,發(fā)送網(wǎng)絡(luò)請求并從返回的信息中提取商品價格信息。筆者在代碼中使用到了反序列化,關(guān)于json序列化和反序列化可以點擊 此處 進行學(xué)習(xí),代碼如下:

import requestsimport json# 獲取商品價格的請求地址url = 'https://c0.3.cn/stock?skuId=12464037&cat=1713,3259,3333&venderId=1000077923&area' '=4_113_9786_0&buyNum=1&choseSuitSkuIds=&extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&' 'pduid=1573698619147398205303&pdpin=jd_635f3b795bb1c&coord=&detailedAdd=&callback=jQuery6495921'jQuery_id = url.split('=')[-1] + '('# 頭部信息headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) ' 'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'}# 發(fā)送網(wǎng)絡(luò)請求response = requests.get(url, headers=headers)if response.status_code == 200: goods_dict = json.loads(response.text.replace(jQuery_id, '')[:-1]) # 反序列化 print(f'當(dāng)前售價為: {goods_dict[’stock’][’jdPrice’][’op’]}') print(f'定價為: {goods_dict[’stock’][’jdPrice’][’m’]}') print(f'會員價為: {goods_dict[’stock’][’jdPrice’][’tpp’]}')else: print('請求失敗!')

筆者在寫博文的時候,價格發(fā)生了變化,運行結(jié)果如下圖所示:

Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)

注意:爬取動態(tài)加載數(shù)據(jù)信息時,需要根據(jù)不同的網(wǎng)頁使用不同的方式進行數(shù)據(jù)的提取。如果在運行源碼時出現(xiàn)了錯誤,請根據(jù)操作步驟獲取新的請求地址即可。

到此這篇關(guān)于Python實現(xiàn)爬取網(wǎng)頁中動態(tài)加載的數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 爬取網(wǎng)頁動態(tài)數(shù)據(jù)內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 国产一区二区日韩欧美在线 | 国产高清精品久久久久久久 | 日韩视频欧美视频 | 欧美精品hdxxxxx | 一级午夜a毛片免费视频 | 1a级毛片免费观看 | 久久99这里只有精品国产 | 手机看片日韩日韩韩 | 九一色视频 | 国产香蕉在线视频一级毛片 | 综合久 | 男人的天堂亚洲 | 国产成人精品日本亚洲网站 | 日本成人一级片 | 天天插夜夜爽 | 亚洲一区二区中文字幕 | 亚洲精品高清在线 | 欧美精品人爱a欧美精品 | 日韩在线小视频 | 综合91| 日韩欧美~中文字幕 | 亚洲精品98久久久久久中文字幕 | a在线v| 色偷偷亚洲男人天堂 | 特级aaa片毛片免费观看 | 真实的国产乱xxxx | 国产成人一级 | 日本 国产 欧美 | 2022国内精品免费福利视频 | 免费毛片视频网站 | 久久久久久久久久久久久久久久久久 | 九九在线观看精品视频6 | 狠狠色丁香婷婷久久综合考虑 | 99久久精品视香蕉蕉er热资源 | 美女视频一区二区三区 | 老太婆性杂交毛片 | 国产精品久久久久久小说 | 日韩一区二区在线视频 | 悟空影视大全免费影视 | 九九精彩视频在线观看视频 | 成人在线免费小视频 |