問(wèn)題描述

已經(jīng)增加虛擬機(jī)內(nèi)存至2g，依然無(wú)法導(dǎo)出。

問(wèn)題解答

一般是分文件導(dǎo)出的，如果一個(gè)單位的數(shù)據(jù)大約是1M的話(huà)，就分成1024個(gè)文件。

另外，合成1G的csv也是不合實(shí)際的，因?yàn)?G的csv幾乎是打不開(kāi)的。如果實(shí)在是要合成1G的話(huà)，把導(dǎo)出的一千多個(gè)文件再合成為一份CSV即可，文件合成python很容易實(shí)現(xiàn)。

1G的數(shù)據(jù)月CSV處理本身就不太合理了。試試看sqlite3。

8G一樣不夠，建議選擇數(shù)據(jù)庫(kù)作為存儲(chǔ)方案，1G規(guī)模的CSV是沒(méi)有存在的意義的。

用ftp內(nèi)網(wǎng)下載飛快.我前兩天傳8個(gè)g.感覺(jué)就是幾分鐘就下載好了