Skip to main content
 首页 » 编程设计

python之在 Python 中从 Dataframe 更新字典非常慢

2025年01月19日10Leo_wl

我想读取数据框的每一行并将它们添加到字典中。

下面的代码运行需要 18 秒。数据框有大约 150000 行。 vehicledid 和 engineconfigid 是数值。

engineconfigid = {} 
for index, row in data_engineconfig.iterrows(): 
    engineconfigid.update({row['vehicleid-h']:row['engineconfigid-h']}) 

但是,以下代码需要几个小时。唯一的区别是要添加更多的值,并且一些值是字符串。是什么导致了两条线之间的大部分差异?琴弦不大。我的程序以 20% 的 CPU(单核)运行并且只使用 60MB 内存。

for index, row in data_enginebase.iterrows(): 
        enginebase.update({row['enginebaseid-f']:{'liter':row['liter-f'], 
                                                 'cc':row['cc-f'],'cid':row['cid-f'], 
                                                 'cylinders-f':row['cylinders-f']}}) 

请您参考如下方法:

您可以尝试使用 set_index。这应该会提供更好的结果,而不是遍历行:

# answer 1 
engineconfigid = data_engineconfig.set_index('vehicleid-h')['engineconfigid-h'].to_dict() 
 
# answer 2 
data_engineconfig.to_dict(orient='index')