Skip to main content
 首页 » 编程设计

python之pandas dataframe header 与 sql 表头的关系

2024年12月31日10wayfarer

我有一个包含 100 多个列的 DataFrame,我正试图将其写入 SQL 表。 这是一个具有完整数据加载的日常过程,看起来像这样:

now = datetime.datetime.now() 
filename = 'extract_' + str(now)[:10] 
output = "./output" 
 
sql_df = pd.read_csv(os.path.join(output,filename + '.csv')) 
server = "redshift+psycopg2://%s:%s@%s:%s/%s" % (USER,PASSWORD,HOST,str(PORT),DATABASE) 
engine = sa.create_engine(server, connect_args={'sslmode': 'verify-ca'}, use_batch_mode=True) 
conn = engine.raw_connection() 
 
conn.cursor().execute("truncate table") 
%time sql_df.to_sql('table', engine, index=False, if_exists='append')  

我收到以下错误:ProgrammingError: (psycopg2.ProgrammingError) 关系“表”的列“列”不存在。

有人可以澄清为什么 to_sql 比较 DataFrame 和表的标题(并且不允许操作,除非全部匹配),而不是仅仅适本地插入不包括标题行的值吗?如果我没有将 DF 写入 SQL 而不是将 csv 上传到 S3,则使用“复制”- 没有错误..

我可以做些什么来让它忽略标题并只插入值?

请您参考如下方法:

您可以像这样修改输入 df 以匹配表中的名称(其中 db_cols 是您的数据库列名),我认为这应该适用于您的 MySQLdb 情况:

db_cols = list(pd.read_sql('...')) # where ... is your table will return columns as list 
 
(sql_df 
 .rename(columns=dict(zip(sql_df.columns, db_cols))) 
 .to_sql(name="table", 
         con=alch_engine, 
         if_exists="append", 
         index=False, 
         index_label=None))