国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

Python爬蟲:Request Payload和Form Data的簡單區別說明

瀏覽:2日期:2022-07-26 17:49:47

Request Payload 和 Form Data 請求頭上的參數差別在于:

Content-TypeForm Data

Post表單請求

代碼示例

headers = { 'Content-Type': 'application/x-www-form-urlencoded'}requests.post(url, data=data, headers=headers)Request Payload

傳遞json數據

headers = { 'Content-Type': 'application/json'}requests.post(url, data=json.dumps(data), headers=headers)

Scrapy 的FormRequest只支持 Form Data 表單提交,源碼固定為前者

補充知識:如何傳遞Request PayLoad(請求負載)中的數據?

在做爬蟲的時候,在分析請求的過程,遇到參數長這樣的:

原理不太清楚,等搞明白再來補充。這里只記錄如何應用這些數據。

用法:

根據上面的圖片,由于是post請求,參數一般是以key-value的json字符串傳遞,或者將參數放入map傳遞。我們可以看到很多name,這個name就是key,下面的數據就是value,我們可以提取所有的key及value,組成一個json字符串或者map傳遞即可。

比如上面的數據可以提取如下:

{'view:id1:txtSearch':'','$$viewid':'!f9fpyhcv2t!','$$xspsubmitid':'view:_id1:_id2:pager1_Group_lnk_2','$$xspexecid':'view:_id1:_id2:parent','$$xspsubmitvalue':'','$$xspsubmitscroll':'0|0','view:_id1':'view:_id1'}

或者:

Map<String,String> m = new HashMap<String,String>(); m.put('view:id1:txtSearch', ''); m.put('$$viewid', '!f9fpyhcv2t!'); m.put('$$xspsubmitid', 'view:_id1:_id2:pager1_Group_lnk_2'); m.put('$$xspexecid', 'view:_id1:_id2:parent'); m.put('$$xspsubmitvalue', ''); m.put('$$xspsubmitscroll', '0|0'); m.put('view:_id1', 'view:_id1');

由于我是用Jsoup來發請求的,所以我這樣傳參數即可:

Jsoup.connect('').data(m).cookies(null).method(Method.POST);

或者:

Connection conn = Jsoup.connect('');String requestJson = '{'view:id1:txtSearch':'','$$viewid':'!f9fpyhcv2t!','$$xspsubmitid':'view:_id1:_id2:pager1_Group_lnk_2','$$xspexecid':'view:_id1:_id2:parent','$$xspsubmitvalue':'','$$xspsubmitscroll':'0|0','view:_id1':'view:_id1'}';conn.requestBody(requestJson);conn.cookies(null).method(Method.POST);conn.execute();

具體參數具體情況填啦。

是不是超簡單。

注意一點,請求負載中的value值不一定是固定值,若每次請求都會發生變化,那么就需要分析這個變化的值從哪里來,動態獲取這個值,然后發送請求才能正確。

以上這篇Python爬蟲:Request Payload和Form Data的簡單區別說明就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 嫩草影院ncyy在线观看 | 国产精品久久久久久久y | 久草在线免费资源站 | 91精品国产手机在线版 | 日韩美女网站在线看 | 国产精品久久久久久久久久98 | 欧美亚洲国产人成aaa | 日韩一级片在线观看 | 高清色黄毛片一级毛片 | 亚洲成人一区二区 | 日韩偷拍自拍 | 国产乱子视频 | 成年黄色网址 | 国产精品高清全国免费观看 | 一区二区三区四区在线播放 | 欧美一级亚洲一级 | a在线v| 日韩在线观看中文字幕 | 久久国产成人福利播放 | 欧美性视频一区二区三区 | 日韩一级影院 | 亚洲国产精品a一区二区三区 | 涩涩国产精品福利在线观看 | 欧美在线bdsm调教一区 | 国产精品特黄一级国产大片 | 黄男人和女人色一级 | 兔费看全黄三级 | 国产亚洲欧美精品久久久 | 精品久久免费视频 | 高清欧美日本视频免费观看 | 一级做a爰片性色毛片视频图片 | 日韩成人在线视频 | 免费人成年短视频在线观看网站 | 色综合a怡红院怡红院首页 色综合精品久久久久久久 色综合九九 | 美女视频全部免费 | 韩国激情啪啪 | 日韩美女网站在线看 | 人久热欧美在线观看量量 | 91久久亚洲国产成人精品性色 | 久久久综合结合狠狠狠97色 | 美女扒开腿让男人桶尿口 |