python - 如何爬取帶有日期選擇的ajax網(wǎng)站？
問題描述
需要爬取三峽水庫的實(shí)時水情數(shù)據(jù)，可以在網(wǎng)頁中選擇日期顯示水情信息，如果一天天選擇再復(fù)制數(shù)據(jù)發(fā)現(xiàn)很是耗時，我現(xiàn)在需要將下圖中三峽水利樞紐2014年-2016年每天的數(shù)據(jù)爬下來。
網(wǎng)址如下：http://www.ctgpc.com.cn/sxjt/...
通過瀏覽器自帶的檢查工具，右鍵檢查元素，查看 network，查看調(diào)用的 ajax API 地址：初步分析后發(fā)現(xiàn)是通過ajax調(diào)用了以下網(wǎng)址，并用POST傳遞了一個日期數(shù)據(jù)，例如今天2017-02-15給該網(wǎng)址：http://www.ctgpc.com.cn/eport...
Header如下：
Response如下：
之前有搜索到類似的問題：https://segmentfault.com/q/10...但是按照回答并沒能解決我的疑惑，因此在這里求助各位前輩，麻煩大家了
問題解答
回答1：可以利用requests庫模擬post提交。 從游覽器檢查工具可以看到傳的參數(shù)是time:2017-02-07。定義data={'time': 日期譬如2017-02-07}。 然后你可以寫個循環(huán)，循環(huán)一次日期往后加一天。然后就r = requests.post('url', data=data, header=****)。 取出數(shù)據(jù)保存入庫。每次循環(huán)嫌慢的話，可以加上gevent這個協(xié)程庫加快速度，看你也就想抓2年的數(shù)據(jù)循環(huán)365*2次就OK了
回答2：你已經(jīng)看到了那個包含數(shù)據(jù)的請求，那么你的問題是什么呢？
回答3：抓包，再模擬post或get看看下面的內(nèi)容Python爬蟲聯(lián)想詞視頻和代碼https://zhuanlan.zhihu.com/p/...
跟黃哥學(xué)Python爬蟲抓取代理IP和驗(yàn)證。https://zhuanlan.zhihu.com/p/...跟黃哥學(xué)Python爬蟲抓取代理IPhttps://zhuanlan.zhihu.com/p/...
回答4：都已經(jīng)拿到Json串了，數(shù)據(jù)更好拿了啊
相關(guān)文章：
1. javascript - 下面的這段算法代碼求解釋2. javascript - 在top.jsp點(diǎn)擊退出按鈕后，right.jsp進(jìn)行頁面跳轉(zhuǎn)，跳轉(zhuǎn)到login.jsp3. javascript - js 有什么優(yōu)雅的辦法實(shí)現(xiàn)在同時打開的兩個標(biāo)簽頁間相互通信？4. android - 哪位大神知道java后臺的api接口的對象傳到前端后輸入日期報錯，是什么情況？求大神指點(diǎn)5. css3 - 在sublime text里， 如何讓emmet生成的帶前綴css屬性垂直對齊？6. mac連接阿里云docker集群，已經(jīng)卡了2天了，求問？7. javascript - 回調(diào)函數(shù)和閉包的關(guān)系8. java - spring-data Jpa 不需要執(zhí)行save 語句，Set字段就可以自動執(zhí)行保存的方法？求解9. [前端求職必看]前端開發(fā)面試題與答案精選_擴(kuò)展問題10. 想找個php大神仿個網(wǎng)站。
網(wǎng)公網(wǎng)安備