文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：104日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. python - oslo_config2. python - 如何統計一份英文 API 開發文檔（如 javadoc文檔）的詞頻？3. mysql優化 - mysql 一張表如果不能確保字段列長度一致，是不是就不需要用到char。4. python - 請問這兩個地方是為什么呢？5. python - 為什么match匹配出來的結果是<_sre.SRE_Match object; span=(0, 54), match=’’>6. 請教一個mysql去重取最新記錄7. javascript - 按鈕鏈接到另一個網址 怎么通過百度統計計算按鈕的點擊數量8. 人工智能 - python 機器學習 醫療數據 怎么學9. 大家都用什么工具管理mysql數據庫？10. php - 有關sql語句反向LIKE的處理
排行榜
網公網安備