Skip to main content
 首页 » 编程设计

python之数据库错误 : Write pandas dataframe to vertica using to_sql and vertica_python

2024年12月31日7del

我有一个像这样的简单数据框

df = pd.DataFrame({"A":[1, 2, 3], "B":["a", "b", "c"]}) 

我想使用 to_sql 方法将此数据框写入 vertica 数据库。所以我使用vertica_python模块,我的代码如下

import pandas as pd 
import vertica_python 
 
cxn = {"user":'myuser', 
       "password":'mypassword', 
       "host":'xx.x.x.xx', 
       "port":yyyy, 
       "database":"mydb"} 
 
engine = vertica_python.connect(**cxn) 
 
df = pd.DataFrame({"A":[1, 2, 3], "B":["a", "b", "c"]}) 
 
df.to_sql("df", index=False, if_exists="replace", con=engine, schema="public", dtype={"A":"int", "B":"int"}) 

然后我得到了数据库错误,我无法按如下方式修复它。

DatabaseError: Execution failed on sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': not all arguments converted during string formatting 

请问如何解决这个问题?非常感谢。

请您参考如下方法:

我在连接到 Vertica 时遇到了类似的问题,并设法通过以下方式创建连接:

  1. 使用 sqlalchemy 特别是 sqlalchemy-vertica

因为您似乎正在使用 vertica_python,所以我建议安装:

pip install sqlalchemy-vertica[vertica-python] 

这样你可以通过以下方式连接:

import sqlalchemy as sa 
import vertica_python 
 
engine = sa.create_engine('vertica+vertica_python://user:pwd@host:port/database') 

注意,根据this thread ,由于最近通过将以下配置传递给 create_engine 改进了 sqlalchemy,使用 pandas 和 sqlalchemy 上传可以变得更快:

engine = create_engine(sqlalchemy_url, fast_executemany=True) 

我还没有尝试过,但看起来很有希望。有关该答案的更多信息。

编辑

我尝试了上面的 fast_executemany 标志,不幸的是它不适用于 Vertica。