python - 請問如何可以優化提升pandas的read_sql的速度呢？
問題描述
小弟的需求需要在多個數據庫之間查詢數據并關聯，所以小弟選擇了使用pandas，通過read_sql讀取數據至dataframe加工后直接生成目標數據。但是目前遭遇了一個問題：read_sql的速度非常慢，例如，在oracle庫中讀取37W數據量（22個字段）的表至dataframe耗時需要4分半。代碼如下：
import pandas as pdimport sqlalchemy as sqlora_engine=sql.create_engine(’oracle://test01:test01@test01db’)ora_df1=pd.read_sql(’select * from target_table1’,ora_engine)
耗時4分32秒
甚至小弟使用另外一個簡單粗暴的方法都會比read_sql快很多。代碼如下：
import pandas as pdimport sqlalchemy as sqlora_engine=sql.create_engine(’oracle://test01:test01@test01db’)conn=ora_engine.raw_connection()cursor=conn.cursor()queryset=cursor.execute(’select * from target_table1’)columns=[for i[0] in queryset.description]df_data=queryset.fetchall()ora_df1=pd.DataFrame()ora_df1.columns=columnsora_df1.append(df_data)
耗時1分31秒
這里想請教一下各位大大，有什么方法可以優化提升pandas的read_sql的速度，非常感謝大家~
問題解答
回答1：試試read_sql_tablehttp://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_sql_table.html#pandas.read_sql_table
相關文章：
1. node.js - mysql如何通過knex查詢今天和七天內的匯總數據2. shell - Update query wrong in MySQL3. javascript - 用jsonp抓取qq音樂總是說回調函數沒有定義4. mysql 插入數值到特定的列一直失敗5. mysql 怎么做到update只更新一行數據？6. javascript - 新浪微博網頁版的字數限制是怎么做的7. 怎么在網頁中設置圖片進行左右滑動8. 360瀏覽器與IE瀏覽器有何區別？？？9. sublime可以用其他編譯器替換嗎？10. python - 在使用Pycharm時經常看到如下的樣式，小括號里紅色的部分是什么意思呢？
網公網安備