文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：83日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. docker images顯示的鏡像過多，狗眼被亮瞎了，怎么辦？2. javascript - IOS微信audio標簽不能通過touchend播放3. javascript - 怎么實現讓 div 里面的 img 元素 中心居中, 如下示例圖4. javascript - web端請求一個正在被修改的文件會怎么樣？5. javascript - 自執行函數是當加載到這個js就執行函數了嗎6. javascript - js的shift()方法失效?7. javascript - react，獲取radio的值出錯8. 學html時，點“運行實例”點“提交”，右邊的白框框沒任何反應。9. javascript - vue組件通過eventBus通信時，報錯a.$on is not a function10. docker不顯示端口映射呢？
排行榜
網公網安備