我正在使用 python 将数据(约 800 万行)从 oracle 传输到 vertica。我写了一个 python 脚本,可以在 2 小时内传输数据,但我正在寻找提高传输速度的方法。
我正在使用的过程:
- 连接到甲骨文
- 将数据拉入数据框(pandas)
- 逐行遍历dataframe中的行并插入vertica(cursor.execute),我想使用
dataframe.to_sql方法,但这种方法仅限于几个数据库
有没有人使用更好的方法(批量插入或任何其他方法?)使用 python 将数据插入到 vertica 中?
这是代码片段:
df = pandas.read_sql_query(sql,conn)
conn_vertica = pyodbc.connect("DSN=dsnname")
cursor = conn_vertica.cursor()
for i,row in df.iterrows():
cursor.execute("insert into <tablename> values(?,?,?,?,?,?,?,?,?)",row.values[0],row.values[1],row.values[2],row.values[3],row.values[4],row.values[5],row.values[6],row.values[7],row.values[8])
cursor.close()
conn_vertica.commit()
conn_vertica.close()
请您参考如下方法:
来自 vertica-python 代码 https://github.com/uber/vertica-python/blob/master/vertica_python/vertica/cursor.py
打开(“/tmp/file.csv”,“rb”)作为文件系统: cursor.copy("COPY table(field1,field2) FROM STDIN DELIMITER ',' ENCLOSED BY '\"'", fs, buffer_size=65536)
