文章詳情頁
python該種情形下應該使用pickle還是csv
瀏覽：120日期：2022-07-01 10:52:25
問題描述
我手頭有許多個上百M的csv存儲一些數據，需要經常使用pandas和matplotlib對這些數據讀取并進行繪圖。在繪圖之前，通常要進行預處理，切片等等清洗操作，因為要經常對figure進行交互操作和作報告，所以我在jupyter notebook中使用%matplotlib notebook進行操作和交互，我是將這些由原始數據產生的中間數據由csv保存,以便下次展示時直接讀取csv獲得中間數據，還是使用pickle保存，后續使用時讀取pickle更快？
問題解答
回答1：肯定是csv安全啊，pickle似乎換一個python版本都可能導致讀取失敗的，這個不是通用格式。幾百兆的話，csv其實讀取速度不慢。更何況還有hdf5，這些才是正經的數據交換格式。
回答2：csv夠用了，如果你覺得還不夠快可以試試hdf5文件
相關文章：
1. windows誤人子弟啊2. 冒昧問一下，我這php代碼哪里出錯了？？？3. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)4. python - linux怎么在每天的凌晨2點執行一次這個log.py文件5. 數據庫 - Mysql的存儲過程真的是個坑！求助下面的存儲過程哪里錯啦，實在是找不到哪里的問題了。6. 實現bing搜索工具urlAPI提交7. mysql優化 - MySQL如何為配置表建立索引？8. 如何用筆記本上的apache做微信開發的服務器9. 我在網址中輸入localhost/abc.php顯示的是not found是為什么呢？10. 關于mysql聯合查詢一對多的顯示結果問題
排行榜
網公網安備