国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

Python爬蟲基礎講解之scrapy框架

瀏覽:68日期:2022-06-16 13:56:17
網絡爬蟲

網絡爬蟲是指在互聯網上自動爬取網站內容信息的程序,也被稱作網絡蜘蛛或網絡機器人。大型的爬蟲程序被廣泛應用于搜索引擎、數據挖掘等領域,個人用戶或企業也可以利用爬蟲收集對自身有價值的數據。

一個網絡爬蟲程序的基本執行流程可以總結三個過程:請求數據,解析數據,保存數據

數據請求

請求的數據除了普通的HTML之外,還有json數據、字符串數據、圖片、視頻、音頻等。

解析數據

當一個數據下載完成后,對數據中的內容進行分析,并提取出需要的數據,提取到的數據可以以多種形式保存起來,數據的格式有非常多種,常見的有csv、json、pickle等

保存數據

最后將數據以某種格式(CSV、JSON)寫入文件中,或存儲到數據庫(MySQL、MongoDB)中。同時保存為一種或者多種。

通常,我們想要獲取的數據并不只在一個頁面中,而是分布在多個頁面中,這些頁面彼此聯系,一個頁面中可能包含一個或多個到其他頁面的鏈接,提取完當前頁面中的數據后,還要把頁面中的某些鏈接也提取出來,然后對鏈接頁面進行爬取(循環1-3步驟)。

設計爬蟲程序時,還要考慮防止重復爬取相同頁面(URL去重)、網頁搜索策略(深度優先或廣度優先等)、爬蟲訪問邊界限定等一系列問題。

從頭開發一個爬蟲程序是一項煩瑣的工作,為了避免因制造輪子而消耗大量時間,在實際應用中我們可以選擇使用一些優秀的爬蟲框架,使用框架可以降低開發成本,提高程序質量,讓我們能夠專注于業務邏輯(爬取有價值的數據)。接下來,就帶你學習目前非常流行的開源爬蟲框架Scrapy。

scrapy安裝

scrapy官網:https://scrapy.org/scrapy中文文檔:https://www.osgeo.cn/scrapy/intro/overview.html

安裝方式

在任意操作系統下,可以使用pip安裝Scrapy,例如:

pip install scrapy

安裝完成后我們需要測試安裝是否成功,通過如下步驟確認:

在終端中測試能否執行scrapy這條命令

scrapy 2.4.0 - no active project usage: scrapy <command>[options] [args] Available commands : benchRun quick benchmark test fetchFetch a URL using the scrapy down1oader genspiderGenerate new spider using pre-defined temp1ates runspiderRun a self-contained spider (without creating a project) settingsGet settings values she11Interactive scraping console startprojectcreate new project versionPrint scrapy version viewopen URL in browser,as seen by scrapy [ more ]More commands available when run from project directory use 'scrapy <command> -h' to see more info about a command

輸入scrapy bench測試連通性,如果出現以下情況表示安裝成功:

Python爬蟲基礎講解之scrapy框架

通過了以上兩項檢測,說明Scrapy安裝成功了。如上所示,我們安裝的是當前最新版本2.4.0。

注意:

在安裝Scrapy的過程中可能會遇到缺少VC++等錯誤,可以安裝缺失模塊的離線包

Python爬蟲基礎講解之scrapy框架

成功安裝后,在CMD下運行scrapy出現上圖不算真正成功,檢測真正是否成功使用scrapybench測試,如果沒有提示錯誤,就代表成功安裝。

全局命令

scrapy 2.4.0 - no active project usage: scrapy <command>[options] [args] Available commands : bench Run quick benchmark test #測試電腦性能 fetch Fetch a URL using the scrapy down1oader#將源代碼下載下來并顯示出來 genspider Generate new spider using pre-defined temp1ates#創建一個新的spider文件 runspider Run a self-contained spider (without creating a project)# 這個和通過craw1啟動爬蟲不同,scrapy runspider爬蟲文件名稱 settings Get settings values#獲取當前的配置信息 she11 Interactive scraping console#進入scrapy 的交互模式 startproject create new project#創建爬蟲項目 version Print scrapy version#顯示scrapy框架的版本 view open URL in browser,as seen by scrapy#將網頁document內容下載下來,并且在瀏覽器顯示出來 [ more ] More commands available when run from project directoryuse 'scrapy <command> -h' to see more info about a command

項目命令

scrapy startproject projectname 創建一個項目 scrapy genspider spidername domain 創建爬蟲。創建好爬蟲項目以后,還需要創建爬蟲。 scrapy crawl spidername 運行爬蟲。注意該命令運行時所在的目錄。

到此這篇關于Python爬蟲基礎講解之scrapy框架的文章就介紹到這了,更多相關Python scrapy框架內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产成人综合在线视频 | 精品国产免费第一区二区 | 玖玖在线国产精品 | 国产精品亚洲四区在线观看 | 欧美精品在线视频观看 | 国产男女在线观看 | a毛片视频免费观看影院 | 性欧美高清come | 97成人精品视频在线播放 | 在线视频 亚洲 | 国产精品久久一区 | 黄色a网| 国产精品无打码在线播放9久 | 国产精品久久久久a影院 | 国产精品三级a三级三级午夜 | 一级黄色毛片免费看 | 欧美视频不卡 | 国产欧美日韩图片一区二区 | 亚洲 自拍 欧美 综合 | 美女动作一级毛片 | 美女视频网站免费播放视 | 亚洲免费视频播放 | 亚洲精品专区一区二区欧美 | 韩国毛片在线观看 | 国产日韩精品一区二区在线观看 | 美女黄影院| 国内自拍第一页 | 91热国内精品永久免费观看 | 欧美一级毛片在线看视频 | 国产精品免费久久 | 日韩欧美成人乱码一在线 | 国产成人高清亚洲一区91 | 亚洲一区二区三区免费看 | 国产精品自拍在线 | 精品高清国产a毛片 | 青青草原色| 久久精品免费观看 | 欧美一级乱理片免费观看 | 5级做人爱c视版免费视频 | 日韩不卡一级毛片免费 | 精品一区二区久久 |