国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - 請教這個頁面中的這兩個信息能否不用無頭瀏覽器爬取到?

瀏覽:104日期:2022-09-22 16:46:47

問題描述

在爬取'http://www.haodf.com/doctor/DE4r08xQdKSLBVM8i9sHYQ8uQGIO.htm'這個頁面的時候, 發現'擅長'和'執業經歷'這兩個信息通過beautifulsoup是取不到的, 我選取這兩個信息的代碼如下:

soup.select(’#full_DoctorSpecialize’).get_text(strip=True)soup.select(’#full’).get_text(strip=True)

查詢頁面發現這兩個信息好像是通過JS查詢的結果, 除了把網頁全部正則表達式匹配的方法, 請教各位: 1, 這兩個信息能否直接取到? 2, 除了類似'Selenium'這樣的工具, 是否還有其他方式能夠取到這兩個信息?3, 能否通過分析查詢接口的方式解決?

謝謝

問題解答

回答1:

可能這個頁面,你要抓的這個數據,是頁面加載后,使用js渲染出來的。也就是說,這個#full_DoctorSpecialize里面的數據是ajax,從服務器上拿回來的。具體要如何拿這樣的數據,你可以百度下 phantomjs ,你一定會 有收獲 的。

回答2:

這2個信息可以直接獲取,只是信息包含在JS塊中BigPipe.onPageletArrive({這個里面}) , 可以通過正則表達式獲取。這個里面是一段JSON格式的字符串。匹配之后轉換為json還是很容易處理的。想要通過查詢接口獲取的話,應該是可以的,不過得分析JS代碼,這個太麻煩,可以通過抓包工具來抓它的http請求。然后看看是那個請求返回的數據。相比較而言還是寫正則匹配比較快。

回答3:

這個就像樓上說的是js渲染的,內容在js代碼里面,可以正則匹配js代碼里面的元素,得到你想要的信息

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 男女午夜爽爽 | 久久精品成人欧美大片免费 | 国产成人美女福利在线观看 | 99视频在线国产 | 偷偷操不一样的久久 | 欧美成人免费在线 | 特级深夜a级毛片免费观看 特级生活片 | jyzzjyzz国产免费观看 | 毛片免费在线观看 | 久草视频官网 | 中文字幕有码在线播放 | 精品综合久久久久久蜜月 | 红色记忆| 一级一级一片在线观看 | 一级毛片不收费 | 国产美女精品三级在线观看 | 手机看片1024精品国产 | 天天欲色成人综合网站 | 精品久久免费视频 | 国产高清在线观看视频手机版 | 女人张开腿给男人捅 | 国产在线一区二区三区四区 | 久久草在线看 | 国产精品久久永久免费 | 91大神大战丝袜美女在线观看 | 老司机一级片 | 92看片淫黄大片看国产片 | 九九亚洲 | 日本国产免费一区不卡在线 | 国产精品亚洲片在线不卡 | 欧美成人毛片在线视频 | 色久天堂网| 国产精品久久久久久久专区 | 日本三级网站在线观看 | 操操综合| 免费一级a毛片在线播放视 免费一级α片在线观看 | 免费又黄又爽又猛大片午夜 | 欧美日韩在线视频免费完整 | 曰本aaaaa毛片午夜网站 | 91精品国产综合久久欧美 | 又摸又揉又黄又爽的视频 |