網(wǎng)頁爬蟲 - Python爬蟲如何正確判斷頁面是否可以爬?。?/h1>

瀏覽：122日期：2022-09-03 13:50:21

問題描述

用Python27些爬蟲，想要爬取一些網(wǎng)站，我需要判斷網(wǎng)頁是否可以爬取，第一反應(yīng)是通過狀態(tài)碼來判斷，但是寫完運(yùn)行后發(fā)現(xiàn)有許多目標(biāo)網(wǎng)站訪問它不存在的頁面時(shí)會(huì)返回一個(gè)404錯(cuò)誤頁面，可他的狀態(tài)碼卻是200，結(jié)果爬回來好多根本就不存在的頁面。這個(gè)本來是網(wǎng)站設(shè)置的問題，但是現(xiàn)在也不能用狀態(tài)碼來判斷了，請(qǐng)問還有什么方法可以正確判斷一個(gè)頁面是不是404該不該爬？

問題解答

回答1：

首先， 200 狀態(tài)碼，是網(wǎng)絡(luò)連接狀態(tài)， 所以你只判斷200并不能滿足所有網(wǎng)站。

其次， 寫爬蟲嘛， 你應(yīng)該實(shí)際去看看這些網(wǎng)站的規(guī)則是什么，可以先人工判斷下， 找找規(guī)律， 比如看看網(wǎng)頁返回內(nèi)容是不是有什么特點(diǎn)之類的。

回答2：

做個(gè)網(wǎng)頁內(nèi)容的判斷，如果他網(wǎng)頁里面沒有內(nèi)容就直接返回。

回答3：

就算是頁面狀態(tài)碼200，返回的404頁面，應(yīng)該和正常能爬取的頁面html有不同的html元素吧，根據(jù)有沒有特定的html元素來判斷是不是404頁面也行的

標(biāo)簽： Python 編程

上一條：python - Flask內(nèi)如何跳轉(zhuǎn)至其他頁面。下一條：Python做掃描，發(fā)包速度實(shí)在是太慢了，有優(yōu)化的方案嗎？

相關(guān)文章：

1. 跨類調(diào)用后，找不到方法2. mysql - 表名稱前綴到底有啥用？3. 哭遼 求大佬解答 控制器的join方法怎么轉(zhuǎn)模型方法4. tp 6.0 數(shù)據(jù)查詢，求教！5. 在mybatis使用mysql的ON DUPLICATE KEY UPDATE語法實(shí)現(xiàn)存在即更新應(yīng)該使用哪個(gè)標(biāo)簽?6. 編輯成功不顯示彈窗7. sublime可以用其他編譯器替換嗎？8. 為什么php修改數(shù)據(jù)無法同步到數(shù)據(jù)庫，只是當(dāng)前頁面修改成功？9. 怎么php怎么通過數(shù)組顯示sql查詢結(jié)果呢，查詢結(jié)果有多條，如圖。10. sql語句 - 如何在mysql中批量添加用戶？