我有一个像这样的简单数据框
df = pd.DataFrame({"A":[1, 2, 3], "B":["a", "b", "c"]})
我想使用 to_sql 方法将此数据框写入 vertica 数据库。所以我使用vertica_python模块,我的代码如下
import pandas as pd
import vertica_python
cxn = {"user":'myuser',
"password":'mypassword',
"host":'xx.x.x.xx',
"port":yyyy,
"database":"mydb"}
engine = vertica_python.connect(**cxn)
df = pd.DataFrame({"A":[1, 2, 3], "B":["a", "b", "c"]})
df.to_sql("df", index=False, if_exists="replace", con=engine, schema="public", dtype={"A":"int", "B":"int"})
然后我得到了数据库错误,我无法按如下方式修复它。
DatabaseError: Execution failed on sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': not all arguments converted during string formatting
请问如何解决这个问题?非常感谢。
请您参考如下方法:
我在连接到 Vertica 时遇到了类似的问题,并设法通过以下方式创建连接:
- 使用
sqlalchemy特别是 sqlalchemy-vertica
因为您似乎正在使用 vertica_python,所以我建议安装:
pip install sqlalchemy-vertica[vertica-python]
这样你可以通过以下方式连接:
import sqlalchemy as sa
import vertica_python
engine = sa.create_engine('vertica+vertica_python://user:pwd@host:port/database')
注意,根据this thread ,由于最近通过将以下配置传递给 create_engine 改进了 sqlalchemy,使用 pandas 和 sqlalchemy 上传可以变得更快:
engine = create_engine(sqlalchemy_url, fast_executemany=True)
我还没有尝试过,但看起来很有希望。有关该答案的更多信息。
编辑
我尝试了上面的 fast_executemany 标志,不幸的是它不适用于 Vertica。
