我有一个包含 100 多个列的 DataFrame,我正试图将其写入 SQL 表。 这是一个具有完整数据加载的日常过程,看起来像这样:
now = datetime.datetime.now()
filename = 'extract_' + str(now)[:10]
output = "./output"
sql_df = pd.read_csv(os.path.join(output,filename + '.csv'))
server = "redshift+psycopg2://%s:%s@%s:%s/%s" % (USER,PASSWORD,HOST,str(PORT),DATABASE)
engine = sa.create_engine(server, connect_args={'sslmode': 'verify-ca'}, use_batch_mode=True)
conn = engine.raw_connection()
conn.cursor().execute("truncate table")
%time sql_df.to_sql('table', engine, index=False, if_exists='append')
我收到以下错误:ProgrammingError: (psycopg2.ProgrammingError) 关系“表”的列“列”不存在。
有人可以澄清为什么 to_sql 比较 DataFrame 和表的标题(并且不允许操作,除非全部匹配),而不是仅仅适本地插入不包括标题行的值吗?如果我没有将 DF 写入 SQL 而不是将 csv 上传到 S3,则使用“复制”- 没有错误..
我可以做些什么来让它忽略标题并只插入值?
请您参考如下方法:
您可以像这样修改输入 df 以匹配表中的名称(其中 db_cols 是您的数据库列名),我认为这应该适用于您的 MySQLdb 情况:
db_cols = list(pd.read_sql('...')) # where ... is your table will return columns as list
(sql_df
.rename(columns=dict(zip(sql_df.columns, db_cols)))
.to_sql(name="table",
con=alch_engine,
if_exists="append",
index=False,
index_label=None))
