問(wèn)題描述

1 比如有博客列表頁(yè) a ,獲取文章列表2 博客內(nèi)容詳情頁(yè) b , 獲取文章正文3 如何依次獲取到文章 + 內(nèi)容 到數(shù)據(jù)庫(kù) ?4 當(dāng)前問(wèn)題主要是不知道如何組合2個(gè)不同頁(yè)面的數(shù)據(jù)

問(wèn)題解答

可以用request.meta來(lái)存儲(chǔ)額外的信息, 比如

def parse_x1(self, response): extra = {} ... req = scrapy.Request(url2) req.callback = self.parse_x2 ... req.meta[’extra’] = extra yield req def parse_x2(self, response): item = {} extra = response.meta[’extra’] item.update(extra) ...yield item