問(wèn)題描述

因?yàn)樵谂廊〉木W(wǎng)站需要賬號(hào)登陸，不方便公開(kāi)。因此我只能這樣大致性的咨詢，實(shí)在抱歉。

我需要爬一個(gè)目標(biāo)網(wǎng)站的數(shù)據(jù)，發(fā)現(xiàn)在點(diǎn)擊下一頁(yè)時(shí)候，網(wǎng)址并沒(méi)有改變.通過(guò)源碼確定是使用了js外加ajax的樣子.通過(guò)chrome的控制臺(tái)，捕獲到點(diǎn)擊下一頁(yè)時(shí)候，向指定地址發(fā)送了一條帶多個(gè)參數(shù)的get指令。

原先采用selenium+phantomjs的方式暴力無(wú)腦方式爬取，一個(gè)頁(yè)面大概5S左右就能獲取，實(shí)際用瀏覽器打開(kāi)也是這個(gè)速度。為了爬取大量的數(shù)據(jù)，準(zhǔn)備改用多線程+直接requests.get目標(biāo)地址的方式來(lái)采集，但是發(fā)現(xiàn)采集速度非常的慢，從5S降到的20s左右。

請(qǐng)教下，出現(xiàn)這樣現(xiàn)象的原因可能是什么？我該如何解決？請(qǐng)指教

問(wèn)題解答

抱歉 浪費(fèi)了各位的時(shí)間- -是我開(kāi)始測(cè)試的時(shí)候，周?chē)腥嗽傧卵咐祝W(wǎng)絡(luò)炸了。抱歉 抱歉