搭建爬蟲平臺，爬取某豆瓣電影的評論信息。

webmagic是一個開源的Java垂直爬蟲框架，目標是簡化爬蟲的開發(fā)流程，讓開發(fā)者專注于邏輯功能的開發(fā)。webmagic的核心非常簡單，但是覆蓋爬蟲的整個流程，也是很好的學習爬蟲開發(fā)的材料。

下載WebMagic源碼，或Maven導入，或Jar包方式導入。 碼云地址：https://gitee.com/flashsword20/webmagic

搭建好后打開項目， 在 us.codecraft.webmagic.processor.example 包下有幾個可運行的例子，我們可以直接運行體驗（BaiduBaikePageProcessor 百度百科的這個比較穩(wěn)定）。

爬到結果說明沒問題。

接下來我們自己編寫一個爬取豆瓣評論的爬蟲。

爬取地址：https://movie.douban.com/subject/35096844/reviews?start=0

F12進入開發(fā)者模式 分析前端頁面

我們發(fā)現我們需要爬取的評論信息存放在 class=short-content的div 中。

創(chuàng)建一個豆瓣爬取的類DoubanPageProcessor如下：

package us.codecraft.webmagic.processor.example; import us.codecraft.webmagic.Page;import us.codecraft.webmagic.ResultItems;import us.codecraft.webmagic.Site;import us.codecraft.webmagic.Spider;import us.codecraft.webmagic.processor.PageProcessor; import java.util.List;import java.util.Map; /** * A simple PageProcessor. * 爬取豆瓣某電影的評論 爬取地址：https://movie.douban.com/subject/35096844/reviews?start=0 * * @author code4crafter@gmail.com <br> * @since 0.1.0 */public class DoubanPageProcessor implements PageProcessor { private Site site; public DoubanPageProcessor(String urlPattern) { this.site = Site.me().setRetryTimes(3).setSleepTime(300); // 設置站點重試次數3 間隔300ms } @Override public void process(Page page) { page.putField('title', page.getHtml().xpath('//title/text()')); //爬取網頁標題// page.putField('html', page.getHtml().toString()); //爬取整個頁面的html page.putField('titleList', page.getHtml().css('div.short-content', 'text').all()); // 我們要爬取的核心信息內容，獲取方式與css選擇器用法一樣// page.putField('content', page.getHtml().smartContent()); } @Override public Site getSite() { //settings return site; } public static void main(String[] args) { Spider spider = Spider.create(new DoubanPageProcessor('https://movie.douban.comd+')); ResultItems resultItems = spider.<ResultItems>get('https://movie.douban.com/subject/35096844/reviews?start=0');// 爬取并獲得爬取結果 Map<String, Object> map = resultItems.getAll(); for (Map.Entry entry : map.entrySet()) { System.out.println(entry.getKey() + ' : ' + entry.getValue()); //打印爬取的所有內容 } List<String> shortList = (List<String>) map.get('titleList'); System.out.println('=====================分隔線===================n短評如下：'); for (int i = 0; i < shortList.size(); i++) { System.out.println(i + '、' + shortList.get(i).trim()); // 打印爬取的評論內容 } spider.close(); } }

運行結果如下：

爬取成功。

到此這篇關于Java基于WebMagic爬取某豆瓣電影評論的實現的文章就介紹到這了,更多相關Java WebMagic爬取內容請搜索好吧啦網以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持好吧啦網！