Skip to main content
 首页 » 编程设计

python之使用 Python 批量插入 vertica

2024年10月24日13落叶无声

我正在使用 python 将数据(约 800 万行)从 oracle 传输到 vertica。我写了一个 python 脚本,可以在 2 小时内传输数据,但我正在寻找提高传输速度的方法。

我正在使用的过程:

  • 连接到甲骨文
  • 将数据拉入数据框(pandas)
  • 逐行遍历dataframe中的行并插入vertica(cursor.execute),我想使用dataframe.to_sql方法,但这种方法仅限于几个数据库

有没有人使用更好的方法(批量插入或任何其他方法?)使用 python 将数据插入到 vertica 中?

这是代码片段:

df = pandas.read_sql_query(sql,conn) 
conn_vertica = pyodbc.connect("DSN=dsnname") 
cursor = conn_vertica.cursor() 
 
for i,row in df.iterrows(): 
    cursor.execute("insert into <tablename> values(?,?,?,?,?,?,?,?,?)",row.values[0],row.values[1],row.values[2],row.values[3],row.values[4],row.values[5],row.values[6],row.values[7],row.values[8]) 
 
cursor.close() 
conn_vertica.commit() 
conn_vertica.close() 

请您参考如下方法:

来自 vertica-python 代码 https://github.com/uber/vertica-python/blob/master/vertica_python/vertica/cursor.py

打开(“/tmp/file.csv”,“rb”)作为文件系统: cursor.copy("COPY table(field1,field2) FROM STDIN DELIMITER ',' ENCLOSED BY '\"'", fs, buffer_size=65536)