国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - 如何爬取帶有日期選擇的ajax網站?

瀏覽:112日期:2022-09-20 16:55:54

問題描述

需要爬取三峽水庫的實時水情數據,可以在網頁中選擇日期顯示水情信息,如果一天天選擇再復制數據發現很是耗時,我現在需要將下圖中三峽水利樞紐2014年-2016年每天的數據爬下來。

python - 如何爬取帶有日期選擇的ajax網站?

網址如下:http://www.ctgpc.com.cn/sxjt/...

通過瀏覽器自帶的檢查工具,右鍵檢查元素,查看 network,查看調用的 ajax API 地址:初步分析后發現是通過ajax調用了以下網址,并用POST傳遞了一個日期數據,例如今天2017-02-15給該網址:http://www.ctgpc.com.cn/eport...

Header如下:

python - 如何爬取帶有日期選擇的ajax網站?

Response如下:

python - 如何爬取帶有日期選擇的ajax網站?

之前有搜索到類似的問題:https://segmentfault.com/q/10...但是按照回答并沒能解決我的疑惑,因此在這里求助各位前輩,麻煩大家了

問題解答

回答1:

可以利用requests庫模擬post提交。 從游覽器檢查工具可以看到傳的參數是time:2017-02-07。定義data={'time': 日期譬如2017-02-07}。 然后你可以寫個循環,循環一次日期往后加一天。然后就r = requests.post('url', data=data, header=****)。 取出數據保存入庫。每次循環嫌慢的話,可以加上gevent這個協程庫加快速度,看你也就想抓2年的數據循環365*2次就OK了

回答2:

你已經看到了那個包含數據的請求,那么你的問題是什么呢?

回答3:

抓包,再模擬post或get看看下面的內容Python爬蟲聯想詞視頻和代碼https://zhuanlan.zhihu.com/p/...

跟黃哥學Python爬蟲抓取代理IP和驗證。https://zhuanlan.zhihu.com/p/...跟黃哥學Python爬蟲抓取代理IPhttps://zhuanlan.zhihu.com/p/...

回答4:

都已經拿到Json串了,數據更好拿了啊

標簽: Python 編程
相關文章:
主站蜘蛛池模板: aa大片成人免费网站 | 久久国产视频在线观看 | 依依成人综合网 | 成人视视 | 久久久久久久久久免观看 | 成年人在线观看网站 | 免费一级毛片视频 | 一本色道久久88亚洲综合 | 18女人毛片大全 | 久久一日本道色综合久久 | 国产视频自拍一区 | 日本a级精品一区二区三区 日本a级毛片免费视频播放 | 久久久久久99精品 | 香港激情黄三级在线视频 | 91久久精品一区二区三区 | 看真人一一级毛片 | 中日韩美中文字幕 | 亚洲国产精选 | 国产成人91一区二区三区 | 精品免费国产一区二区三区 | 国产成人高清一区二区私人 | 亚洲精品一二三 | 欧美视频在线一区 | 日韩城人视频 | 中文字幕在线视频精品 | 精品一区二区三区18 | 久久偷看各类wc女厕 | 亚洲精品高清在线 | 国产免费福利体检区久久 | 日韩免费黄色片 | 动漫精品一区二区 | 好看的看黄a大片爽爽影院 好男人天堂网 | 亚洲国产精品a一区二区三区 | 日日摸日日碰夜夜97 | 老鸭窝 国产 精品 91 | 久久国产免费 | 一级在线视频 | 亚洲美女在线观看播放 | 亚洲第一免费网站 | 国产一区二区三区视频 | 俄罗斯毛片免费大全 |