關(guān)于python爬蟲的問題
問題描述
我使用post爬取網(wǎng)頁表格數(shù)據(jù),網(wǎng)站如下http://www.ipe.org.cn/Industr...,現(xiàn)在遇到了2個問題,其中一個問題是違規(guī)類型中<input type='checkbox' name='violation' data-role='all' checked='' value='0'>,該網(wǎng)頁已經(jīng)設定了checked,已經(jīng)有默認值,而我只想要violation=1的數(shù)據(jù),不知道該怎么辦第二個問題是在選擇國家,省份,城市過程<select name='select' onchange='setProvince_0();'>我無法直接用name 以及value選擇我想要的表單數(shù)據(jù)
跪求各位大神的解答
問題解答
回答1:他是有API用來返回數(shù)據(jù)的,你可以抓取一下,點擊篩選之后的數(shù)據(jù)流。大概是這個api,http://www.ipe.org.cn/data_as...,post方式,里面有一個參數(shù)叫itemType就是你想要的違規(guī)類型。然后對應的國家,省份,城市等信息都在api中有體現(xiàn),自己跟一下就知道了。然后根據(jù)需求,構(gòu)造請求你需要的數(shù)據(jù),剩下的就是解析了。。。。
相關(guān)文章:
1. 對mysql某個字段監(jiān)控的功能2. showpassword里的this 是什么意思?代表哪個元素3. html - vue項目中用到了elementUI問題4. JavaScript事件5. python - 為什么正常輸出中文沒有亂碼,zip函數(shù)之后出現(xiàn)中文編程unicode編碼的問題,我是遍歷輸出的啊。6. python - 使用readlines()方法讀取文件內(nèi)容后,再用for循環(huán)遍歷文件與變量匹配時出現(xiàn)疑難?7. javascript - table列過多,有什么插件可以提供列排序和選擇顯示列的功能8. javascript - js中向下取整9. javascript - HTML字符串排版10. html5 - ElementUI table中el-table-column怎么設置百分比顯示。
