Skip to main content
 首页 » 编程设计

python之使用多处理模块时无法将 Pandas 数据框对象发送到 SQL

2025年05月04日11zhujiabin

我正在使用多个 cpu 内核转换单个数据帧,并希望将结果插入 MySQL。

使用下面的代码,我只观察到一个事件的 cpu 核心,并且没有对 MySQL 进行更新。没有产生错误消息。

原始数据框 pandas_df 永远不会改变。 pandas_df 的所有转换都存储在 result_df 中。

代码已经过验证,可以连续正常工作。

import multiprocessing as mp 
from sqlalchemy import create_engine 
engine = create_engine(MYSQL_STRING) 
 
def function(pandas_df, tuple, engine): 
    #slice and dice pandas_df according to tuple 
    result_df.to_sql("TABLE_NAME", engine, if_exists='append') 
 
 
pool = mp.Pool(processes=4) 
for tuple in tuples: 
    pool.apply_async(est, args=(pandas_df, tuple, engine)) 

我遇到的大多数教程和指南只在 args=() 中传递字符串。 然而,有些文章确实展示了传递 numpy 数组的能力:http://sebastianraschka.com/Articles/2014_multiprocessing_intro.html

我也尝试过使用 map_async() 方法和/或在 function 中插入一个 return 语句来编写上面的代码,并且有行为没有差异。

我愿意尝试不同的 Python 模块。我需要一个并行转换单个数据帧并将结果插入数据库的解决方案。

请您参考如下方法:

您需要确保该函数可以访问所有变量,否则可能会发生静默失败。